캐시 메모리 Cache Memory

주기억장치에 저장된 내용의 일부를 임시로 저장해두는 기억장치로 속도가 빠른 장치와 느린 장치에서 속도 차이에 따른 병목 현상을 줄이기 위한 메모리

• CPU코어와 메모리 사이의 병목 현상 완화
• 웹 브라우저 캐시 파일은 하드디스크와 웹 페이지 사이의 병목 현상 완화

• CPU가 주기억장치에서 저장된 데이터를 읽어올 때 자주 사용하는 데이터를 캐시 메모리에 저장한 뒤 다음에 이용할 때 주기억장치가 아닌 캐시 메모리에서 먼저 가져오면서 속도를 향상시킨다.
• 다만 용량이 작고, 연산 비용이 비싸다는 단점이 존재 → 캐시는 플립플롭 소자로 구성되어 SRAM으로 되어 있어서 DRAM보다 빠른 장점을 지닌다.
• CPU가 요청한 데이터가 캐시에 있으면 Cache Hit, 없어서 DRAM에서 가져오면 Cache Miss
  • Cache Miss
    • Cold miss : 해당 메모리 주소를 처음 불러서 나는 미스
    • Conflict miss : 캐시 메모리에 A, B 데이터를 저장해야 하는데 A, B가 같은 캐시 메모리 주소에 할당되어 있어서 나는 미스 → 주소 할당 문제
    • Capacity miss : 캐시 메모리의 공간이 부족하여 나는 미스, 다만 캐시 메모리의 크기를 키워서 문제를 해결하려면 캐시 접근 속도가 느려지고 파워를 많이 먹는 단점이 생김
• CPU에는 이러한 캐시 메모리가 3개(L1, L2, L3 캐시 메모리)정도 사용되며 속도와 크기에 따라 분류된다. L1 캐시 메모리부터 가장 먼저 접근하고 이후로 L2, L3 순서로 접근한다.
• 듀얼 코어 프로세서의 캐시 메모리 : 각 코어마다 독립된 L1캐시 메모리를 가지고 두 코어가 공유하는 L2 캐시 메모리가 내장되는 방식
  • L1 : CPU 내부에 존재
  • L2 : CPU, RAM 사이에 존재
  • L3 : 보통 메인보드에 위치
• 디스크 캐시 : 주기억장치와 보조기억장치 사이에 존재하는 캐시

 

캐시 메모리 작동 원리

캐시를 잘 활용하면 연산 비용을 많이 줄일 수 있고, CPU가 어떤 데이터를 원할지 예측이 가능해야 하고 이러한 적중률을 극대화시키기 위해 사용되는 것이 지역성의 원리이다.

*지역성 : 기억 장체 내의 정보를 균일하게 액세스 하는 것이 아니라 한 순간에 특정 부분을 집중적으로 참조하는 특성

1. 시간 지역성
   • for나 while같은 반복문에 사용하는 조건 변수처럼 한번 참조된 데이터는 잠시 후 또 참조될 가능성이 높음
2. 공간 지역성
   • 배열 arr[0], arr[1] 같이 연속 접근 시 참조된 데이터 근처에 있는 데이터가 잠시 후 또 사용될 가능성이 높음
   • 해당 데이터뿐만 아니라 옆 주소의 데이터도 같이 가져와 미래에 쓰일 것을 대비하여 캐시에 데이터를 저장한다.

 

구조 및 작동 방식

• Direct Mapped Cache
  • 가장 기본적인 구조
  • DRAM의 여러 주소가 캐시 메모리의 한 주소에 대응되는 다대일 방식
  • 캐시 메모리는 인덱스필드 + 태그 필드 + 데이터 필드로 구성
  • 간단하고 빠른 장점이 있지만 Conflict miss가 발생하는 것이 단점
• Fully Associative Cache
  • 비어있는 캐시 메모리가 있으면 마음대로 주소를 저장하는 방식
  • 저장할 때는 간단하지만, 나중에 찾을 때가 문제
  • 조건이나 규칙이 없어서 특정 캐시 Set 안에 있는 모든 블럭을 한번에 찾아 원하는 데이터가 있는지 검색해야 한다. CAM이라는 특수한 메모리 구조를 사용해야하지만 가격이 매우 비쌈
• Set Associatively Cache
  • Direct+Fully 방식으로 특정 행을 지정하고 그 행안의 어떤 열이든 비어있을 때 저장하는 방식
  • Direct에 비해 검색 속도는 느리지만 저장이 빠르고 Fully에 비해 저장이 느린 대신 검색이 빠른 중간형

 

캐싱 라인

빈번하게 사용되는 데이터들을 캐시에 저장했더라도 내가 필요한 데이터를 캐시에서 찾을 때 모든 데이터를 순회하는 것은 낭비이다. 즉 캐시에 목적 데이터가 저장되어 있을 때 바로 접근하여 출력할 수 있어야 캐시 활용이 의미있어진다.

캐시에 데이터를 저장할 때 자료구조를 활용하여 묶어서 저장하는데 이를 캐싱 라인이라고 한다. 캐시에 저장하는 데이터와 데이터의 메모리 주소를 함께 저장하면서 빠르게 원하는 정보를 찾을 수 있다. (set/map 등을 활용)