15일(현지시간) 미국 IT 전문매체 디 인포메이션(The Information)에 따르면 엔비디아의 AI 추론 칩 시장 점유율은 지난 1년간 약 66%에서 74%로 상승했다. 추론은 학습된 AI 모델이 사용자의 질문에 답하거나 콘텐츠를 생성하는 단계로, 생성형 AI 서비스의 실질적인 수익 창출이 이뤄지는 영역이다.
특히 리벨리온, 퓨리오사AI, 딥엑스, 모빌린트, 하이퍼엑셀 등 국내 AI 반도체 기업들이 GPU 대체 시장으로 삼고 있는 분야가 바로 추론 시장이라는 점에서 이번 결과는 적지 않은 의미를 갖는다.
|
◇AI 산업 중심축은 ‘학습’에서 ‘추론’으로
시장조사업체들에 따르면 현재 AI 워크로드의 약 60%가 추론 관련 작업이며, 올해 말에는 3분의 2 수준까지 확대될 전망이다. 2023년만 해도 전체 AI 연산 가운데 추론 비중은 3분의 1 수준에 불과했다.
AI 기업들의 매출 성장도 이를 뒷받침한다. 앤트로픽과 오픈AI를 포함한 주요 AI 스타트업들의 연간반복매출(ARR)은 약 1년 반 만에 70억달러에서 800억달러 규모로 증가한 것으로 추산된다.
젠슨 황 엔비디아 최고경영자(CEO)는 최근 컴퓨텍스 행사에서 “추론이 곧 돈(Inference is where the money is)”이라고 강조한 바 있다.
그동안 추론 시장이 엔비디아의 약점이 될 수 있다는 전망이 적지 않았다.
AI 학습 단계에서는 막대한 연산 성능이 필요하지만, 추론은 특정 서비스에 최적화된 주문형 반도체(ASIC)나 저전력 특화 칩이 더 유리할 수 있기 때문이다.
실제로 구글은 TPU, 아마존은 인퍼렌시아(Inferentia), 마이크로소프트는 마이아(Maia), 메타는 MTIA 등 자체 AI 칩을 개발해 왔다. AMD와 세레브라스 시스템즈도 추론 시장 공략에 나섰으며, 브로드컴이 설계한 맞춤형 AI 가속기(XPU)도 주요 빅테크 기업들에 공급되고 있다.
국내 기업들 역시 같은 시장을 노리고 있다. 리벨리온과 퓨리오사AI는 데이터센터용 AI 추론 반도체를, 딥엑스와 모빌린트는 엣지 AI와 비전 AI 분야를 중심으로 GPU 대체 시장을 공략하고 있다.
하지만 시장은 예상과 다른 방향으로 움직였다.
디 인포메이션은 현재 글로벌 AI 추론 칩 시장 규모가 분기 기준 약 560억달러에 달하며, 이 가운데 엔비디아가 약 410억달러를 차지하고 있다고 분석했다. 경쟁사들의 자체 칩 도입이 늘고 있음에도 점유율은 오히려 확대된 것이다.
◇데이터센터 매출도 ‘추론 중심’ 재편
엔비디아의 사업 구조도 빠르게 변하고 있다.
디 인포메이션은 올해 4월 기준 엔비디아 데이터센터 매출의 약 55%가 추론용 GPU 판매에서 발생한 것으로 추정했다. 이는 지난해보다 10%포인트 증가한 수준이다.
웨드부시의 매트 브라이슨 애널리스트와 모닝스타의 브라이언 콜렐로 애널리스트 역시 엔비디아 데이터센터 매출의 절반 이상이 현재 추론 수요에서 발생하고 있다고 분석했다.
업계는 엔비디아의 경쟁력이 단순한 칩 성능에만 있는 것이 아니라고 본다. CUDA를 중심으로 한 소프트웨어 생태계와 개발 도구, AI 프레임워크 지원, 공급망 역량이 복합적으로 작동하고 있다는 분석이다.
◇칩 넘어 생태계 장악…국산 NPU엔 과제
엔비디아는 추론 시장 확대에 맞춰 생태계 투자도 강화하고 있다. 대표적인 사례가 AI 클라우드 기업 코어위브(CoreWeave)다. 엔비디아는 코어위브에 투자하는 동시에 대규모 GPU를 공급하고 있으며, 코어위브는 오픈AI와 메타 등을 고객으로 확보해 전체 워크로드의 절반 이상을 추론 작업에 활용하고 있다.
엔비디아는 단순히 반도체를 판매하는 것이 아니라 AI 모델 개발사와 클라우드 사업자, 서비스 기업을 연결하는 생태계를 구축하고 있는 셈이다.
국내 AI 반도체 기업들에도 이는 중요한 과제다. 리벨리온, 퓨리오사AI, 딥엑스 등은 전력 효율과 비용 경쟁력을 앞세워 추론 시장 공략에 나서고 있지만, 실제 경쟁은 칩 성능을 넘어 소프트웨어와 개발자 생태계, 고객 확보 능력으로 확대되고 있기 때문이다.
Copyright ⓒ 이데일리 무단 전재 및 재배포 금지
