[엠투데이 이상원기자] 인공지능(AI) 산업의 중심축이 '학습(Training)'에서 '추론(Inference)'으로 빠르게 이동하면서 글로벌 반도체 산업의 판도가 바뀌고 있다.
초거대 AI 모델을 학습시키기 위한 초고성능 GPU 확보가 경쟁에서 AI 서비스를 얼마나 낮은 비용과 전력으로 제공할 수 있는가가 새로운 기준으로 자리잡아 가고 있다.
향후에는 단순히 GPU 수요 증가에만 그치지 않고 반도체 설계와 제조, 메모리, 패키징, 네트워크, 데이터센터 구조는 물론 주요 고객층까지 바꾸는 거대한 산업 전환이 진행될 것이란 분석이다.
학습보다 중요한 '추론'. 비용 경쟁 시대
2020년부터 2023년까지 AI 반도체 시장은 대규모 AI 모델을 학습시키기 위한 경쟁이 주도했다. 기업들은 수만 개의 GPU를 데이터센터에 구축하며 최고 성능의 연산 능력을 확보하는 데 집중했고, 비용보다 성능이 우선시됐다.
그러나 생성형 AI 서비스가 본격적으로 상용화되면서 상황은 달라졌다. 챗GPT, 제미나이, 코파일럿과 같은 서비스는 모델을 한 번 학습한 뒤 수십억 번의 추론을 반복한다. 이에 따라 GPU 한 개의 성능보다 '추론 한 번당 비용(Cost per Token)'이 핵심 지표로 부상했다.
결국 AI 반도체 경쟁은 '가장 빠른 칩'에서 '가장 경제적으로 AI 서비스를 제공하는 칩'을 만드는 경쟁으로 이동하고 있다.
추론은 학습보다 연산 구조가 단순하기 때문에 GPU 외에도 ASIC, NPU, AI 가속기 등 다양한 반도체가 경쟁력을 확보할 수 있다.
실제로 빅테크 기업들은 범용 GPU 의존도를 줄이고 자체 추론 칩 개발에 속도를 내고 있다. 엔비디아가 GPU 시장을 주도하고 있는 가운데 구글은 TPU, 아마존은 인퍼런시아, 메타는 MTIA, 마이크로소프트는 마이아 AI 가속기를 개발하는 등 AI 서비스에 최적화된 자체 반도체 생태계를 구축하고 있다.
추론 작업에서는 AI 모델을 메모리에 상시 적재한 상태에서 지속적으로 데이터를 읽어오는 과정이 대부분을 차지한다. 이 때문에 메모리 성능이 시스템 전체의 효율을 결정하는 핵심 요소로 부상했다.
특히 HBM(고대역폭 메모리)은 AI GPU 성능을 좌우하는 필수 부품으로 자리 잡았으며, GDDR, LPDDR, CXL 메모리 역시 중요성이 빠르게 커지고 있다.
앞으로는 연산 속도보다 얼마나 큰 AI 모델을 메모리에 올릴 수 있는지가 경쟁력이 될 전망이다. 700억(70B) 파라미터 모델부터 4,000억(400B), 나아가 1조(1T) 파라미터 모델까지 등장하면서 수백 GB에서 수 TB 규모의 메모리 수요가 발생하고 있기 때문이다.
이에 따라 HBM4, CXL 기반 메모리 확장, SSD 캐싱 기술도 빠르게 발전하고 있다.
첨단 패키징이 AI 성능 좌우
AI 추론 서버에서는 GPU 자체보다 GPU와 HBM을 얼마나 효율적으로 연결하는지가 성능을 결정하는 중요한 요소가 되고 있다. CoWoS, Fan-Out, 3D 패키징과 같은 첨단 패키징 기술은 칩 간 거리를 최소화해 데이터 전송 속도를 높이고 전력 소비를 줄이는 역할을 한다.
이 때문에 첨단 패키징은 AI 반도체 공급망에서 가장 중요한 경쟁력 중 하나로 평가받고 있으며, 관련 생산 능력 확보가 글로벌 반도체 기업들의 핵심 과제가 되고 있다.
추론 클러스터가 확대되면서 GPU 간 통신과 메모리 공유, AI 서비스 분산 처리 능력도 중요해지고 있다.
이에 따라 400G·800G 이더넷, InfiniBand, 광통신 기술 시장 역시 빠르게 성장하고 있다. AI 데이터센터에서는 연산 성능뿐 아니라 네트워크 속도와 효율이 전체 서비스 품질을 결정하는 요소로 자리 잡고 있다.
추론 서비스는 하루 24시간, 수억 명의 사용자를 대상으로 수십억 건의 요청을 처리해야 한다. 이 때문에 성능보다 전력 효율이 더욱 중요해지고 있다. AI 검색 서비스처럼 대규모 서비스를 운영하는 기업은 반도체 소비전력을 단 1W만 줄여도 연간 수백만 달러 규모의 전력 비용을 절감할 수 있다는 분석도 나온다.
이에 따라 'Performance per Watt(성능 대비 전력효율)'가 AI 반도체를 평가하는 가장 중요한 지표로 떠오르고 있다.
데이터센터 구조 역시 빠르게 변화하고 있다. 기존 데이터센터는 CPU 중심 구조에 일부 GPU를 추가하는 형태였다면, 앞으로는 CPU와 GPU, ASIC, HBM, 광통신, CXL 메모리가 유기적으로 연결된 AI 중심 인프라로 재편될 전망이다.
즉, 단일 반도체 성능보다 시스템 전체의 효율을 극대화하는 방향으로 데이터센터 설계 철학이 바뀌고 있는 것이다.
추론 중심 시대가 열리면서 산업별 수혜도 뚜렷하게 갈릴 것이란 전망이 나온다.
GPU 시장은 지속적인 성장이 예상되지만 경쟁은 한층 치열해질 것으로 보인다. 반면 HBM과 첨단 패키징 분야는 가장 큰 수혜 산업으로 꼽힌다. 광통신과 ASIC 설계 시장 역시 빠른 성장세가 기대되며, 파운드리 산업도 AI 칩 생산 확대에 힘입어 성장세를 이어갈 가능성이 크다.
반면 범용 CPU 시장은 상대적으로 성장률이 둔화될 수 있다는 전망이 나온다.
국내 반도체 기업들도 AI 추론 중심 시장 전환의 직접적인 영향을 받고 있다. SK하이닉스는 HBM 시장 선도 기업으로 AI 메모리 수요 확대의 최대 수혜 기업으로 평가받는다.
삼성전자는 HBM 경쟁력 강화와 첨단 패키징, 파운드리 사업 확대가 향후 AI 경쟁력의 핵심 과제로 떠오르고 있다.
한미반도체는 HBM 생산에 필요한 첨단 패키징 장비 수요 증가의 수혜가 기대되며, TSMC는 첨단 공정과 패키징 기술을 기반으로 AI 칩 생산의 중심 역할을 이어갈 것으로 전망된다.
AI 추론 시대의 승자는 더 이상 가장 강력한 GPU를 만드는 기업이 아닐 수 있다. 앞으로는 가장 낮은 비용과 전력으로 대규모 AI 서비스를 안정적으로 운영할 수 있는 생태계를 구축한 기업이 시장을 주도할 가능성이 높다.
이에 따라 AI 반도체 산업의 경쟁축도 GPU 단일 제품 경쟁에서 HBM, 첨단 패키징, 고속 네트워크, 맞춤형 ASIC, 전력 효율을 아우르는 종합 플랫폼 경쟁으로 빠르게 이동하고 있다.
AI 추론의 확산은 반도체 산업의 기술 혁신을 넘어 산업 생태계 전반을 재편하는 새로운 전환점이 될 것으로 전망된다.
Copyright ⓒ M투데이 무단 전재 및 재배포 금지
