SK하이닉스와 샌디스크(SanDisk)가 AI 추론(Inference) 성능 향상을 위한 새로운 메모리 규격 'HBF(High Bandwidth Flash)'를 공동 공개했다. HBM(High Bandwidth Memory)과 엔터프라이즈 SSD 사이의 성능 격차를 줄여 초거대 AI 모델의 메모리 병목을 해소하는 것이 목표다.
HBF는 HBM과 SSD의 중간 계층(Tier)을 겨냥한 새로운 메모리 아키텍처다.
HBM처럼 여러 개의 메모리 다이를 적층(Stacking)하지만, DRAM 대신 NAND 플래시를 사용하는 것이 가장 큰 차이점이다. 이를 통해 HBM보다 훨씬 큰 저장 용량을 확보하면서도 SSD보다 높은 데이터 처리 속도를 제공하도록 설계됐다.
양사가 공개한 규격에 따르면 HBF는 최대 512GB 용량을 지원한다. 8단 또는 16단으로 NAND 다이를 적층하는 구조를 채택하며, 대역폭은 최소 0.4TB/s에서 최대 3TB/s까지 확장할 수 있도록 설계됐다. 이는 일반 엔터프라이즈 SSD보다 훨씬 높은 수준의 데이터 처리 성능이다.
분명한 건 HBF는 HBM을 대체하는 기술이 아니다.
AI 가속기 내부에서 연산에 즉시 사용되는 데이터는 기존처럼 HBM이 담당하고, 대용량 모델 파라미터와 KV 캐시, 중간 데이터를 HBF에 저장하는 계층형 메모리(Hierarchical Memory) 다.
예를 들어 5,000억(500B) 파라미터 규모의 초거대 언어모델(LLM)을 운영한다고 가정하면, 모델 전체를 HBM에 저장하는 것은 용량과 비용 측면에서 현실적으로 어렵다. HBF는 이러한 대규모 모델을 저장하면서 필요한 데이터만 HBM으로 빠르게 이동시키는 역할을 수행하도록 설계됐다.
인터페이스도 개방형 표준을 채택했다. HBF는 UCIe(Universal Chiplet Interconnect Express)를 지원해 CPU와 GPU, AI 가속기 등 다양한 프로세서와 직접 연결할 수 있다. 이는 칩렛(Chiplet) 기반 AI 시스템에서도 메모리 확장성을 높일 수 있다는 의미다.
SK하이닉스는 HBF를 통해 메모리와 스토리지의 경계를 허물겠다는 전략을 제시했다.
김춘성 SK하이닉스 솔루션개발 담당은 "메모리와 스토리지의 경계를 확장해 시스템 전체 효율을 높이는 새로운 아키텍처 구축에 기여할 것"이라고 설명했다.
양사는 HBF를 특정 기업만 사용하는 독자 규격이 아니라 산업 표준으로 확대하는 것도 목표로 하고 있다. 다양한 시스템 업체와 반도체 기업이 HBF 기반 제품을 개발할 수 있는 생태계를 구축하겠다는 계획이다.
한편 AI 메모리 시장에서는 또 다른 접근도 진행되고 있다.
삼성전자는 엔비디아와 협력해 CMX 계열 AI 스토리지 솔루션을 개발하고 있으며, 500단 이상 적층을 목표로 하는 V10·V11 NAND를 기반으로 AI 서버용 초고속 스토리지 시장을 공략하고 있다.
동종 업계는 AI 모델 규모가 수천억~수조 개 파라미터 수준으로 확대되면서 HBM만으로는 용량과 비용을 모두 해결하기 어려운 상황이라고 보고 있다. 이에 따라 HBM과 SSD 사이를 메우는 새로운 메모리 계층에 대한 수요가 빠르게 증가하고 있으며, HBF 역시 이러한 요구를 겨냥한 차세대 메모리 표준 가운데 하나로 평가받고 있다.
다만 HBF는 이제 막 규격이 공개된 초기 단계다. 실제 제품 출시와 생태계 확대, 주요 AI 반도체 업체의 채택 여부는 향후 시장 전개에 따라 결정될 것으로 전망된다.
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.