양사는 HBF를 AI 모델의 가중치(Model Weights) 저장용으로 활용하고, HBM(High Bandwidth Memory)은 실시간 연산에 필요한 KV 캐시(Key-Value Cache) 전용으로 사용하는 새로운 메모리 계층 구조를 제안했다.
대규모 AI 모델을 수용하려면 GPU 수 자체를 늘려야 하고, 이는 AI 서버 구축 비용을 급격히 증가시키는 원인이 된다.
개별 셀의 응답 속도는 느리더라도 대규모 병렬 읽기를 통해 최대 3TB/s 수준의 대역폭을 구현하는 것이 핵심이다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “위클리 포스트” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.