AI 모델이 고도화될수록 연산 성능보다 데이터 저장과 호출 능력이 병목으로 작용하고 있으며, 이 구조적 변화가 반도체 산업의 힘의 균형을 바꿀 수 있다는 진단이다.
김 교수는 3일 열린 KAIST 테라랩(TERALAB) HBF(고대역폭 플래시) 기술개발 성과·로드맵·상품화 전략 발표회에서 “AI가 가는 길을 예측하지 못하면 그에 맞는 상품도 만들 수 없다”며 “과거에는 미국 기업이 컴퓨터 구조와 소프트웨어를 정하고 한국은 가격 경쟁에 머물렀지만, 이제는 메모리를 통해 AI 컴퓨팅의 허리를 쥘 수 있는 국면이 왔다”고 말했다.
|
AI는 말하는 기계가 아니라 생각하는 존재
김 교수는 AI 기술 진화의 첫 번째 변화로 ‘생각하는 AI’를 꼽았다. 그는 “AI는 단순히 말을 잘하는 기계가 아니라, 답에 이르는 논리적 과정을 함께 제시할 수 있어야 한다”고 설명했다.
이 변화의 중심에는 ‘트랜스포머 모델’이 있다. 트랜스포머는 입력 데이터를 순차적으로 처리하던 기존 방식과 달리, 문장이나 데이터 전체를 한 번에 보고 중요한 관계를 동시에 파악하는 구조다. 이 덕분에 AI는 결과뿐 아니라 추론 과정 자체를 드러내는 사고의 사슬(Chain of Thought)을 구현할 수 있게 됐다.
김 교수는 “AI는 이제 논리를 글로만 설명하는 수준을 넘어, 그림이나 프레젠테이션 형태로도 전개한다”며 “영상 하나를 주고 PPT로 정리해 달라고 하면 사람이 만든 것보다 더 잘 나온다”고 말했다.
트랜스포머와 폰 노이만 구조의 충돌…AI컴퓨팅의 변화
문제는 트랜스포머 모델이 기존 컴퓨터 구조와 근본적으로 충돌한다는 점이다. 현재 대부분의 컴퓨터와 서버는 ‘폰 노이만 구조’를 기반으로 설계돼 있다. 폰 노이만 구조는 CPU 또는 GPU와 메모리가 분리돼 있으며, 연산 장치가 메모리에서 데이터를 순차적으로 불러와 처리하는 방식이다.
김 교수는 “트랜스포머 모델은 한 번에 대량의 데이터를 동시에 불러와야 하는데, 폰 노이만 구조에서는 이 과정 자체가 병목이 된다”며 “모델이 커질수록 연산 성능보다 메모리 대역폭과 지연 시간이 전체 성능을 좌우하게 된다”고 설명했다.
그는 “트랜스포머 모델이 존재하고 폰 노이만 구조가 유지되는 한, AI는 메모리에 굶주릴 수밖에 없다”며 “AI 시대를 판단하는 기준은 연산이 아니라 메모리”라고 강조했다.
멀티모달 AI 확산…데이터는 ‘곱셈’으로 늘어난다
두 번째 변화는 멀티모달 AI다. 김 교수는 “AI는 텍스트를 넘어 이미지, 동영상, 그래픽까지 동시에 처리하는 단계에 들어섰다”며 “데이터 규모는 더 이상 덧셈이 아니라 곱셈 구조로 증가한다”고 말했다.
텍스트가 바이트 단위라면 이미지는 킬로바이트·메가바이트, 동영상은 초당 수십 장의 이미지가 쌓인다. 그는 “모델 파라미터가 조 단위를 넘어 10조, 100조로 커지면 단일 모델 구조는 유지가 불가능하다”며 “기능별로 모델을 나눠 필요한 부분만 작동시키는 믹스처 오브 엑스퍼트(MoE) 구조가 불가피하다”고 설명했다.
GPU 혁신은 거의 끝났다
김 교수는 GPU의 구조적 한계도 분명히 했다. 그는 “GPU를 여러 개 붙일수록 통신 지연으로 성능이 급격히 떨어진다”며 “GPU 혁신은 거의 끝났다고 봐야 한다”고 말했다.
최근 리벨리온이나 퓨리오사AI 같은 국산 인퍼런스(추론)용 NPU(신경망처리장치)성능 개선 역시 “상당 부분이 HBM을 쓴 덕분에 가능해진 메모리 대역폭에서 나온 것”이라며 “AI 응답 속도를 좌우하는 것은 결국 메모리”라고 짚었다.
HBM의 한계, HBF와 낸드가 메운다
이 같은 구조 변화 속에서 메모리의 역할도 분화되고 있다. HBM(고대역폭메모리)은 GPU 옆에 붙어 연산 속도를 끌어올리는 역할을 맡지만, 가격이 비싸고 용량 확대에는 한계가 있다.
이를 보완하기 위한 대안으로 제시된 것이 HBF(고대역폭 플래시)다. HBF는 3D 낸드 플래시 기반으로 대용량 구현이 가능해, AI 연산 과정에서 GPU 인근의 보조 저장소 역할을 수행한다.
김 교수는 “HBM은 속도를, HBF와 낸드는 기억과 용량을 담당하는 구조로 AI 메모리 계층이 재편되고 있다”고 설명했다. 이와 관련해 삼성전자(005930)와 SK하이닉스(000660)는 HBM4와 HBF 등 차세대 AI 메모리 기술과 표준화 가능성을 검토 중이다.
|
기억의 시대…샌디스크가 주목받는다
김 교수는 AI 시대를 ‘기억의 시대’라고 규정했다. 그는 “지금 당장 연산에 쓰이는 핫 데이터는 HBM이 담당하지만, AI가 장기간 기억해야 할 데이터는 콜드 메모리가 맡는다”고 말했다.
이 과정에서 대용량 낸드 기반 스토리지 기업의 역할이 다시 부각되고 있다. 김 교수는 “수십 년 전의 사진이나 기록을 즉시 불러오는 AI를 구현하려면 콜드 데이터 영역이 필수”라며 샌디스크와 같은 낸드 중심 기업들이 재조명받는 이유를 설명했다.
콜드 데이터 인프라가 확대되면서 스토리지 컨트롤러의 중요성도 함께 커지고 있다. 국내 팹리스 기업 파두(440110)는 샌디스크 SSD에 컨트롤러를 공급하고 있으며, 김 교수는 “컨트롤러는 데이터를 어떻게 읽고 쓰고 병목을 줄일지를 결정하는 두뇌”라고 설명했다.
HBM 가격을 끌어올리는 ‘짜증 비용’
김 교수는 HBM 가격 상승의 배경으로 이른바 ‘짜증 비용’을 들었다. 그는 “아무리 GPU가 좋아도 메모리가 병목이 되면 AI서비스에서 응답 속도가 떨어지고 사용자는 짜증을 낸다”며 “이 짜증을 줄이기 위해 더 비싼 HBM을 선택하게 되고, 이것이 가격 상승으로 이어진다”고 설명했다.
이 같은 구조 속에서 그는 AI로 무장한 개인용 PC와 스마트폰이 1000만원을 넘어 ‘소유’가 아닌 ‘전세·월세’ 개념으로 전환될 가능성도 제기했다.
AI 시대의 결론은 메모리
김 교수는 AI 시대의 결론을 단순하게 정리했다. PC 시대에는 CPU, 스마트폰 시대에는 모바일 AP가 중심이었다면, AI 시대의 핵심은 메모리라는 것이다.
그는 “속도를 결정하는 것은 HBM이고, 용량과 기억을 담당하는 것은 HBF와 낸드”라며 “이 모든 요소는 삼성전자, SK하이닉스, 샌디스크 같은 메모리·스토리지 기업의 실적과 직결된다”고 강조했다. 이어 “AI 경쟁은 계산 능력 싸움이 아니라 기억 능력 싸움으로 바뀌고 있다”고 덧붙였다.
Copyright ⓒ 이데일리 무단 전재 및 재배포 금지
