김정호 KAIST 교수의 AI 전망② “HBM만으로는 10분, HBF를 붙이자 43초”

김정호 KAIST 전기및전자공학부 교수는 3일 열린 ‘KAIST 테라랩(TERALAB) HBF(고대역폭 플래시) 기술개발 성과·로드맵·상품화 전략 발표회’에서 연구실 대학원생들이 수행한 속도·워크로드 분석 결과를 공개하며 “AI 성능을 결정하는 핵심 병목은 이제 GPU가 아니라 메모리 구조”라고 강조했다.

출처=김정호 교수 학생들이 검증한 ‘첫 토큰 속도’의 차이 김 교수는 워크로드 분석 과정을 소개하며 “요즘은 AI에게 분석 프로그램을 짜달라고 하면 필요한 수식들을 인터넷과 논문에서 찾아와 계산 결과를 바로 내는 소프트웨어를 만들어준다”고 했다.

“트랜스포머와 폰 노이만 구조가 바뀌지 않는 한 답은 메모리” 김 교수는 트랜스포머 모델이 한 번에 대량의 데이터를 불러와 처리하고, 폰 노이만 구조는 메모리와 연산 장치가 분리돼 있다는 점을 들어 “이 조합이 유지되는 한 병목은 필연적으로 메모리에서 발생한다”고 말했다.