대용량 데이터 처리 기술 퀴즈와 캐시 메모리 Flashcards

Study Notes

대규모 데이터 처리는 기존 방법으로는 감당하기 어려우며, 수십 TB ~ 수십 PB의 데이터를 다룬다.
Hadoop은 대용량 데이터의 분산 처리를 위한 프레임워크이다.
HDFS는 분산 저장 기술, MapReduce는 분산 처리 기술이다.
Spark는 실시간성 데이터에 대한 처리를 위해 분산 시스템을 사용한 프로그래밍 환경을 제공하며, 반복적인 처리 작업에서 속도가 하둡보다 1000배 이상 빠르다.
Hive는 대규모 정형 데이터를 처리하기 위한 배치 처리 구조이며, SQL 기반의 쿼리 언어를 지원한다.
병렬 처리는 하나의 시스템 내에서 여러 프로세서를 사용하여 작업을 처리하는 것이고, 분산 처리는 여러 대의 컴퓨터가 네트워크를 통해 연결되어 하나의 큰 작업을 처리하는 것이다.
병렬 처리는 공유 메모리를 이용하여 데이터 공유를 하며, 분산 처리는 데이터를 공유하기 위해서는 다른 방법이 필요하다.
병렬 처리에서는 하나의 작업이 실패하면 전체 작업이 실패할 가능성이 있지만, 분산 처리에서는 한 대의 컴퓨터가 실패해도 다른 컴퓨터에서는 작업을 계속할 수 있다.
캐싱은 자주 필요한 데이터나 값의 복사본을 저장해두는 것이다.
캐싱을 사용하면 데이터 접근 시간을 줄일 수 있어 성능 향상에 도움이 된다.
캐싱은 메모리나 디스크에 저장될 수 있으며, 메모리에 저장될 경우 속도가 더 빠르다.
캐싱은 데이터 일관성 문제를 일으킬 수 있으므로 적절한 관리가 필요하다1. 캐시 메모리는 CPU와 메인 메모리(RAM) 사이에 위치하여 재사용할 가능성이 높은 데이터의 복사본을 저장함
캐시 메모리는 속도가 빠르지만 용량이 작고 비싸다
CPU에서 요청한 데이터를 바로 전달하기 위해 캐시 메모리를 사용함
SRAM과 DRAM으로 구성되어 있으며, SRAM은 빠르지만 비싸고 용량이 작고, DRAM은 느리지만 용량이 크다
메모리의 구조와 특성에 따라 SRAM과 DRAM을 사용함
캐시 메모리는 데이터 지역성의 원리를 이용하여 재사용할 가능성이 큰 데이터를 저장함
데이터 지역성의 원리에는 시간적 지역성과 공간적 지역성이 있음
시간적 지역성은 한번 접근한 데이터에 대해 다시 접근할 가능성이 높다는 가정
공간적 지역성은 특정 데이터에 접근할 때, 그 근처에 있는 다른 데이터들도 접근할 가능성이 높다는 가정
캐시 메모리는 데이터 지역성의 원리를 이용하여 재사용할 가능성이 큰 데이터를 저장하여 CPU의 성능을 향상시킴
메모리 계층 구조에서 캐시 메모리는 CPU와 가까이 위치하여 속도가 빠르고, 하위 메모리에 비해 용량이 작음
캐시 메모리는 CPU 성능을 향상시키기 위한 중요한 역할을 함.1. 캐시는 block size인 4 bytes를 전부 가져오는 설계이다.
공간적 지역성의 특성을 활용하여 최근에 접근했던 데이터의 근처 데이터를 다시 접근할 확률이 높다.
캐시는 최근에 접근한 데이터를 저장하여 빠른 접근을 가능하게 한다.
캐시를 사용하면 메인 메모리로부터 데이터를 가져오는 시간을 절약할 수 있다.
프로그램을 실행할 때 캐시는 빈번하게 사용된다.
캐시의 크기가 작으면 자주 사용되는 데이터를 저장할 수 없어 성능 저하가 발생할 수 있다.
캐시의 크기가 크면 전체 성능은 향상되지만 캐시 미스가 발생할 확률이 높아진다.
캐시 미스는 캐시에 데이터가 없어 메인 메모리에서 데이터를 가져오는데 시간이 걸린다.
캐시는 프로세서와 메인 메모리 사이에서 중간 역할을 수행한다.
캐시는 프로세서와 메인 메모리 간의 데이터 전송 속도 차이를 완화시킨다.
캐시는 시스템의 전체적인 성능을 향상시키는 역할을 한다.
캐시는 컴퓨터 시스템에서 중요한 역할을 수행하며, 최적화가 필요하다.

Description