인공지능 AI 시대 반도체 경쟁의 축이 바뀌고 있다. 그동안 AI 성능을 좌우하는 핵심 요소로 여겨졌던 고대역폭메모리 HBM이 시장 성장의 중심에 있었지만 구글이 메모리 사용량을 크게 줄이는 알고리즘을 공개하면서 기존 공식에 균열 가능성이 제기됐다. AI 반도체 경쟁이 ‘더 많은 메모리’에서 ‘연산 효율’ 중심으로 이동할 수 있다는 점에서 산업 전반에 미치는 파장도 적지 않을 것으로 보인다. 메모리 기업 중심으로 형성된 시장 구조가 향후 플랫폼 기업과 알고리즘 경쟁으로 확장될 가능성도 거론된다. <편집자주>
| 서울=한스경제 고예인 기자 | AI 반도체 시장이 고대역폭메모리 HBM 중심으로 빠르게 성장해왔지만 동시에 구조적인 변화 조짐도 뚜렷해지고 있다. 단순히 메모리를 더 많이 쌓아 성능을 끌어올리는 방식이 비용과 기술 측면에서 한계에 부딪히면서 데이터 이동을 줄이고 연산 효율을 높이는 방향으로 인프라 자체를 재설계하는 흐름이 주목받고 있다.
현재 AI 서버 구조는 엔비디아 GPU를 중심으로 대량의 HBM을 결합하는 형태다. 대형 AI 모델이 요구하는 막대한 데이터를 처리하기 위해 메모리를 계속 추가하는 방식이 일반적이었다. 이 과정에서 HBM은 사실상 AI 성능을 결정짓는 핵심 요소로 자리 잡았다.
그러나 이 구조는 점차 부담이 커지고 있다. HBM은 여러 개의 D램을 수직으로 적층하는 구조로 TSV 미세화 한계와 발열 문제 전력 소비 증가 등 기술적 제약이 뒤따른다. 특히 AI 모델이 커질수록 메모리를 계속 추가해야 하는 구조는 데이터센터 투자 비용을 급격히 증가시키는 요인으로 작용하고 있다.
업계에서는 “HBM은 성능을 끌어올리는 해법이지만 구조적 해답은 아니다”라는 평가도 나온다. 결국 메모리를 더 많이 붙이는 방식만으로는 장기적인 경쟁력을 유지하기 어렵다는 의미다.
▲ “데이터 이동 최소화”…설계 철학 변화
이러한 한계를 극복하기 위해 등장한 개념이 데이터 이동 최소화다. 핵심은 연산을 메모리 가까이 가져오는 것이다. 데이터가 이동할수록 시간과 전력 손실이 발생하기 때문에 이를 줄이는 것이 효율을 높이는 가장 직접적인 방법으로 꼽힌다.
대표적인 기술이 PIM과 CXL이다. PIM은 메모리 내부에서 연산을 수행하는 방식으로 데이터 이동을 줄이는 구조다. CXL은 시스템 메모리를 유연하게 확장해 데이터 활용 효율을 높이는 기술이다. 이들 기술은 메모리와 연산의 경계를 허무는 방향으로 발전하고 있다.
이에 대해 삼성전자는 “PIM과 CXL 등 차세대 메모리 기술을 지속적으로 개발 중이며 AI 시대 변화 속도가 빠른 만큼 대응을 위한 연구를 이어가고 있다”고 밝혔다.
반도체업계 관계자는 “AI 인프라가 단순 메모리 용량 확대보다 연산 효율과 총소유비용 최적화 중심으로 전환되는 흐름에는 업계 공감대가 형성돼 있다”며 “PIM과 CXL은 차세대 아키텍처의 중요한 옵션으로 검토되고 있다”고 설명했다.
이는 단순 기술 개발을 넘어 산업 전반의 방향성이 바뀌고 있음을 의미한다. 과거에는 더 많은 데이터를 더 빠르게 처리하는 것이 경쟁력이었다면 이제는 같은 데이터를 얼마나 효율적으로 처리하느냐가 핵심 경쟁력으로 떠오르고 있다.
▲ 경쟁의 본질 변화…칩에서 시스템으로
이러한 변화는 AI 반도체 경쟁의 본질을 바꾼다. 기존에는 GPU 성능과 메모리 용량이 경쟁의 핵심이었다면 앞으로는 시스템 전체 효율이 중요한 기준이 된다. 특히 구글과 같은 플랫폼 기업이 알고리즘을 통해 메모리 사용량을 줄이는 방향을 제시하면서 하드웨어 중심 구조에 대한 의존도가 낮아질 가능성도 제기된다. 이는 반도체 기업 중심으로 형성된 시장의 구조가 변화할 수 있음을 시사한다.
AI 반도체 산업은 점점 복잡한 시스템 경쟁으로 진입하고 있다. 하드웨어와 소프트웨어가 결합된 형태로 발전하면서 단순히 칩 성능만으로 승부를 가르기 어려운 구조다.
결국 HBM 이후 경쟁은 더 많이 쌓는 것이 아니라 어떻게 설계하느냐의 문제로 귀결된다. 누가 더 효율적인 구조를 만들 수 있느냐가 시장 판도를 좌우할 핵심 변수로 떠오르고 있다.
Copyright ⓒ 한스경제 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
