“터보 퀀트 확산돼도 메모리 수요 감소 제한적”

기존엔 대규모언어모델(LLM) 추론 과정에서 KV 캐시(KV Cache)가 메모리 병목의 핵심으로 지목돼 왔지만, 이를 4비트 이하로 압축하면서도 성능 저하를 최소화할 수 있게 되면 하이퍼스케일러들의 인프라 투자 효율이 한층 높아질 수 있다는 진단이다.

여기에 압축·해제 연산을 빠르게 처리하기 위해 일반 DDR5보다 대역폭이 높은 MRDIMM이나 SOCAMM2 같은 고성능 규격 수요도 늘어날 수 있다고 보고서는 짚었다.

보고서는 이를 두고 ‘단순 용량’보다 ‘메모리처럼 작동하는 스토리지’의 비중이 커지는 방향이라고 해석했다.