김정호 KAIST 교수의 AI 전망① 짜증 비용이 부른 HBM 가격 상승
김 교수는 “트랜스포머 모델은 한 번에 대량의 데이터를 동시에 불러와야 하는데, 폰 노이만 구조에서는 이 과정 자체가 병목이 된다”며 “모델이 커질수록 연산 성능보다 메모리 대역폭과 지연 시간이 전체 성능을 좌우하게 된다”고 설명했다.
그는 “트랜스포머 모델이 존재하고 폰 노이만 구조가 유지되는 한, AI는 메모리에 굶주릴 수밖에 없다”며 “AI 시대를 판단하는 기준은 연산이 아니라 메모리”라고 강조했다.
김 교수는 “HBM은 속도를, HBF와 낸드는 기억과 용량을 담당하는 구조로 AI 메모리 계층이 재편되고 있다”고 설명했다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “이데일리” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.
