AMD는 6일(현지시간) 탈라스 인수를 위한 최종 계약을 체결했다고 밝혔다. 인수 금액은 공개하지 않았다. AMD는 탈라스 기술을 자사 데이터센터용 AI 제품 로드맵에 반영해 서버 시스템에 적용할 계획이다.
이번 인수는 단순히 AI 스타트업 하나를 확보한 것이 아니라 ‘HBM 중심 AI 반도체’의 한계를 보완할 새로운 아키텍처를 확보했다는 점에서 의미가 있다.
|
현재 엔비디아와 AMD의 그래픽처리장치(GPU)는 HBM에 저장된 모델 가중치를 연산할 때마다 반복적으로 읽어오는 구조다. 이 때문에 AI 반도체 성능 경쟁은 자연스럽게 HBM 용량과 대역폭 확보에 초점이 맞춰졌고, HBM 공급 부족이 AI 반도체 시장의 가장 큰 병목이 됐다.
탈라스는 이 같은 구조를 근본적으로 바꿨다. AI 모델의 가중치를 외부 HBM이 아니라 칩 내부의 읽기전용메모리(Mask ROM)에 직접 새겨 넣는 ‘하드코딩’ 방식을 채택했다. 모델 자체를 반도체 회로의 일부로 만드는 방식으로, 추론 과정에서 HBM에서 데이터를 반복적으로 불러오는 작업이 사실상 필요 없다.
이 덕분에 고가의 HBM과 복잡한 패키징(CoWoS 등) 없이도 AI 추론을 수행할 수 있다. 외부 메모리와 데이터를 주고받는 과정이 크게 줄어 메모리 병목 현상을 해소할 수 있고, 전력 소비와 제조 비용도 낮출 수 있다. 이 같은 방식으로 탈라스의 AI 칩은 모든 모델에 사용할 순 없고 특정 AI 모델 하나만 실행하도록 맞춤 설계된다.
|
탈라스는 자체 테스트 결과 메타의 경량 모델 ‘라마 3.1 8B(매개변수 80억개)’ 전용 칩 ‘HC1’을 통해 동일 조건에서 엔비디아 B200보다 약 48배 높은 처리량과 100만 토큰당 약 5분의 1 수준의 비용을 구현했다고 밝혔다. 단일 칩 소비전력(TDP)은 약 250W로 일반 공랭식 서버에서도 운용할 수 있다고 설명했다.
탈라스는 이 같은 기술력을 인정받아 2023년 설립 이후 지금까지 총 2억 1900만달러(약 3100억원)의 투자를 유치했다. 물론 하드코딩 방식이 만능은 아니다. 특정 AI 모델에 맞춰 제작되는 만큼 새로운 모델이 등장하면 칩을 다시 설계해야는 부담이 있다.
고효율 AI 추론 칩 개발 경쟁은 이미 본격화됐다. 이들의 공통점은 HBM 의존도를 낮춘 기술을 채택했다는 점이다. 미국 스타트업 에치드(Etched)는 트랜스포머 모델 전용 하드코딩 추론칩 ‘소후’를 개발하고 있으며, 디-매트릭스(d-Matrix)는 메모리 내부에서 연산을 수행하는 디지털 컴퓨팅인메모리(CIM) 기술을 적용해 데이터 이동을 줄이는 아키텍처를 개발하고 있다. 언테더 AI(Untether AI)와 악셀레라 AI(Axelera AI) 역시 칩 안(On-chip)에 있는 소용량 메모리인 SRAM 기반 연산 구조를 채택해 HBM 등 외부 메모리 의존도를 낮춘 추론칩을 개발하고 있다. 업계의 관심이 단순히 연산 성능 경쟁을 넘어 메모리 병목과 전력 소비를 얼마나 줄일 수 있는지로 확대되고 있는 셈이다.
하지만, 범용 GPU가 AI 학습과 다양한 모델을 지원하는 클라우드 환경에서는 주류를 유지할 것이란 전망이 지배적이다.
시장조사업체 트렌드포스는 최근 보고서에서 AI 컴퓨팅 시장이 ‘범용 컴퓨팅’과 ‘특화 컴퓨팅’의 투 트랙으로 발전할 것으로 전망했다. 클라우드 시장은 여전히 범용 플랫폼을 중심으로 움직이고 있어 고객들은 모델 업그레이드에 따라 계속 진화할 수 있는 유연한 솔루션을 선호할 가능성이 높다고 봤다. 반면 모델 변경이 잦지 않은 AI 추론 환경에서는 효율성과 비용이 중요한 영역을 중심으로 다양한 특화 컴퓨팅 방식이 독자적인 시장을 형성할 수 있다고 예상했다.
리사 수 AMD 최고경영자(CEO)도 지난달 제품 공개 행사에서 “모든 용도에 맞는 단 하나의 칩은 존재하지 않는다”며 추론칩 시장의 확대를 기대했다. 그러면서도 그는 “GPU는 새롭게 개발되는 다양한 AI 모델을 유연하게 지원할 수 있기 때문에 앞으로도 AI 칩 시장의 대부분을 차지할 것”이라고 예상했다.
Copyright ⓒ 이데일리 무단 전재 및 재배포 금지
