[이데일리 김소연 기자] “인공지능(AI) 시대는 완전한 메모리 게임이 될 것입니다. AI의 힘은 결국 데이터, 메모리에서 옵니다.”
김정호 카이스트 전기·전자공학부 교수는 29일 서울 여의도 FKI타워에서 열린 ‘2026 이데일리 넥스트 테크 포럼’에서 AI 시대 메모리의 중요성이 지금보다 더 커질 것이라고 강조했다. ‘생각을 넘어, 산업을 움직이는 AI’라는 주제로 기조연설을 맡은 김 교수는 “금광에서 금으로 돈 번 것이 아니라 청바지로 돈을 벌었듯이, AI 시대에 돈은 메모리가 벌 것”이라고 한 마디로 정리했다.
|
김 교수는 전세계 AI 반도체 시장을 뒤흔들고 있는 고대역폭메모리(HBM) 개념을 처음 제안하고 설계한 핵심 인물이다. ‘HBM의 아버지’라고 불리는 김 교수는 “AI가 많은 일을 똑똑하게 할 수 있도록 하기 위해서는 결국 메모리”라며 “AI 지능은 기억 용량에 달렸다. 그 기억 용량은 메모리가 핵심”이라고 설명했다.
특히 AI가 스스로 인지·판단해 스스로 행동으로 옮기는 피지컬AI로 가면 메모리는 더욱 중요해진다는 것이 김 교수의 설명이다. 그는 “생성형 AI 시대에서 지금은 에이전트AI 시대, 피지컬AI 시대에는 인간의 정신적인 노동과 육체적인 노동을 AI가 대신하게 될 것”이라고 말했다.
AI 산업의 중심 축은 학습에서 추론으로 이동했다. 추론 단계에서는 대화 맥락과 외부 데이터를 지속적으로 불러와 활용해야 한다. 이에 따라 메모리의 중요성은 더욱 커지고 있는 것이다. AI는 추론에서 KV캐시를 활용해 이전 대화 맥락을 실시간으로 유지하면서 응답을 생성한다. 외부 데이터와 신규 정보를 지속적으로 저장하고 불러와야 하는 구조다.
김 교수는 “학습량이 많을수록, 모델이 커질수록 AI가 똑똑해졌기 때문에 모델 크기의 싸움이 벌어졌다”며 “이제는 세상 모든 것을 다 학습할 수 없기 때문에 추론의 시대로 넘어왔다”고 분석했다. 이어 “추론의 시대에는 실시간으로 공급해줄 데이터가 얼마나 많은가, 탐색 능력이 어떻게 되는가로 AI의 성능이 바뀌고 있다”며 “추론으로 가면서 메모리가 더 중요해진 것”이라고 강조했다.
젠슨황 엔비디아 최고경영자(CEO)와 리사수 AMD CEO 등이 한국을 찾고, 테슬라의 일론머스크 CEO가 테라팹을 짓겠다고 하는 이유도 메모리의 중요성을 방증하는 셈이다.
김 교수는 “AI가 진화하면서 △상시 대기하는 백그라운드 세션 △초거대 컨텍스트 처리 용량 △다중 에이전트 3가지 축이 서로 결합하며 메모리 요구량을 폭발적으로 팽창시킨다”며 “AI는 완전한 메모리 게임”이라고 했다. 이어 “AI 칩의 속도는 그래픽처리장치(GPU), HBM이 결정한다. AI 시간 싸움에서 메모리가 이를 결정하는 것”이라고 덧붙였다.
이날 기조연설에서 김 교수는 HBM과 고대역폭플래시(HBF), 메모리 간 네트워크를 만드는 차세대 기술 역시 설명했다. 그는 “HBM4에서는 베이스다이(로직 다이)가 중요하다. 베이스 다이에 GPU 일부 기능을 넣자는 설계가 반영된 것”이라고 설명했다. HBM의 두뇌 역할을 하는 베이스 다이는 HBM의 가장 아랫단에서 GPU와 직접 연결되는 받침대 역할을 한다.
이어 “HBM5는 GPU를 오히려 HBM 맨 윗단에 넣자는 것이고, 그 이후에는 HBM 뒤에 HBF를 붙이자는 것이 제 생각”이라고 소개했다. 김 교수는 메모리 간 자체적으로 네트워크를 만들어 메모리 기업들이 중심이 되는 기술 역시도 제안했다. 그는 “기술적으로 CPU와 GPU를 거치지 않는 자체적인 메모리 네트워크를 만들자는 것이 제 생각”이라며 “이를 메모리 센트릭 컴퓨팅(Centric Memory)이라 부른다”고 설명했다.
Copyright ⓒ 이데일리 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
다음 내용이 궁금하다면?
광고 보고 계속 읽기
원치 않을 경우 뒤로가기를 눌러주세요
