"HBM 다음은 낸드"…AI 추론 시대, 메모리 패러다임이 바뀐다

디램에 이어 낸드플래시까지 가격이 급격히 반등하며, 메모리 시장 전반이 공급자 우위의 국면으로 빠르게 재편되고 있다. ⓒ 제미나이 생성 이미지.

[프라임경제] 전통적인 IT 기기 수요 사이클에 의존하던 메모리 반도체 시장의 '문법'이 깨지고 있다. 디램(DRAM)에 이어 낸드플래시(NAND)까지 가격이 급격히 반등하며, 메모리 시장 전반이 공급자 우위의 국면으로 빠르게 재편되는 모습이다.

낸드 가격의 상승 랠리는 과거와 같은 모바일이나 PC의 교체 수요 회복 때문이 아니다. 데이터센터, 특히 인공지능(AI) 인프라가 요구하는 저장 계층의 규모 자체가 폭발적으로 팽창하면서 발생한 '구조적 수급 불균형'이 원인으로 지목된다.

◆ AI 무게중심, '학습'에서 '추론'으로…병목은 '용량'

시장의 수요가 질적으로 변화하고 있다는 점에 주목해야 한다. AI 산업의 초점이 모델을 훈련하는 '학습(Training)'에서 실제 서비스를 제공하는 '추론(Inference)'으로 옮겨가고 있다. 

특히 최근 부상하는 에이전틱(Agentic) AI는 단발성 문답에 그치지 않고, 스스로 계획을 세워 도구를 호출하며 중간 결과물을 검토하는 반복적 사고를 수행한다.

이러한 복잡한 연산 과정에서 AI는 문맥을 유지하기 위해 'KV 캐시(Key-Value Cache)'라는 데이터를 임시로 계속 저장해야 한다. 

연구 결과에 따르면 에이전틱 워크로드는 일반 챗봇에 비해 추론 1회당 평균 100배에서 최대 1000배까지 더 많은 토큰을 소모한다. 기하급수적으로 커지는 KV 캐시와 문맥 데이터를 고대역폭메모리(HBM)의 제한된 용량만으로는 감당할 수 없게 된 것이다.

◆ 필수 생존 전략이 된 '오프로딩'과 스토리지의 재발견

HBM의 용량 한계를 극복하기 위해 업계가 꺼내든 카드는 '오프로딩(Offloading)' 전략이다. 추론에 즉각적으로 필요한 핵심 데이터만 HBM에 남겨두고, 상대적으로 덜 긴급한 데이터는 기업용 솔리드스테이트드라이브(eSSD)와 같은 하위 저장 계층으로 분산시키는 기술이다. 

이를 통해 전체 시스템의 응답 속도를 높이고 처리 효율을 극대화할 수 있다.

실제로 최근 글로벌 선두 AI 반도체 기업은 추론 과정에서 누적되는 방대한 컨텍스트 데이터를 솔리드스테이트드라이브(SSD) 기반 낸드 등 외부 스토리지에 저장하고 재사용하는 새로운 플랫폼 개념을 제시하기도 했다. 

이는 낸드가 단순한 보조 저장장치에서 벗어나 AI 추론 인프라 성능을 좌우하는 핵심 구성요소로 격상됐음을 시사한다.

HBM의 용량 한계를 극복하기 위해 업계가 꺼내든 카드는 '오프로딩' 전략이다. ⓒ 제미나이 생성 이미지.

◆ 낸드 시장의 'K자형' 사이클, 주목해야 할 핵심 기술력 3선

업계 전문가들은 향후 낸드 시장이 범용 제품 전반의 호황보다는, 서버용 낸드가 선별적으로 수혜를 입는 'K자 형태'로 전개될 가능성이 높다고 입을 모은다. 데이터센터용 낸드는 대량 생산을 통한 원가 절감보다 고용량과 고신뢰성이 절대적인 경쟁력으로 작용하기 때문이다.

독립리서치 그로쓰리서치는 앞으로의 낸드 슈퍼사이클에서 투자자들이 주목해야 할 핵심 기술 분야에 대해 크게 △고성능 컨트롤러 △SiC 링 등 고단화에 따른 식각 부품 △초고강도 검사(테스트) 역량 등 세 가지로 요약했다.

서버 환경에서는 낸드 칩 자체의 스펙뿐만 아니라, 데이터를 효율적으로 분배하고 발열과 전력 소모를 최적화하는 컨트롤러의 성능이 eSSD의 품질을 좌우한다. AI 인프라용 eSSD 시장이 커질수록 고성능 컨트롤러에 대한 수요는 구조적으로 증가할 전망이다.

이와 함께 서버용 64테라바이트(TB), 128TB급 초고용량을 구현하기 위해서는 300단 이상의 극단적인 적층 기술이 요구된다. 

층수가 높아질수록 칩을 깊게 뚫는 관통 식각 공정의 난이도와 강도가 크게 증가하며, 이에 따라 플라즈마를 집중시키는 SiC 링 등 핵심 소모성 부품의 수명이 단축되고 교체 수요가 폭증하게 된다.

또한 불량 발생 시 대규모 서비스 장애로 이어지는 서버용 eSSD는 24시간 365일 가동을 가정한 극강의 번인(Burn-in) 및 스트레스 테스트를 거쳐야 한다. 고도화된 제품일수록 테스트 시간이 며칠 단위로 늘어나기 때문에, 병목 현상을 해소하기 위한 첨단 검사 장비의 대규모 증설이 불가피하다.

한용희 그로쓰리서치 연구원은 "결과적으로 AI 인프라의 확장은 메모리의 병목을 '속도'에서 '용량'의 문제로 뒤바꿔 놓았다"며 "서버용 낸드 고도화라는 명확한 방향성에 맞춰 앞선 기술력을 확보한 기업들이 차세대 메모리 주도권을 쥐게 될 것"이라고 내다봤다.