‘전력·비용’ 벽에 막힌 GPU···AI 반도체 전선, 특화 NPU로 급속 이동

[사진=프리픽]

[이뉴스투데이 김진영 기자] 인공지능(AI) 반도체 산업 무게중심이 빠르게 이동하고 있다. 대규모 학습을 담당해 온 그래픽처리장치(GPU) 중심 구조가 전력 소모와 비용 부담이라는 구조적 한계에 직면한 가운데, 실제 서비스 단계에서 효율을 좌우하는 ‘추론’ 특화 반도체로 전선이 옮겨가고 있다. 이 변화는 단순한 기술 트렌드가 아닌 기업의 구매 결정과 국가 인프라 설계, 나아가 로봇·피지컬 AI 산업 경쟁력까지 좌우하는 분기점으로 작용하고 있다는 평가다.

그동안 AI 인프라는 거대언어모델(LLM) 학습 수요를 중심으로 GPU 중심으로 구축돼 왔다. GPU는 학습과 추론을 모두 수행할 수 있는 범용성을 갖췄지만, 연산 밀도가 높아질수록 전력과 냉각 비용이 급증하는 구조적 한계를 안고 있다. 추론 단계에서는 단위 연산당 비용 부담이 커 효율성 문제가 반복적으로 지적됐다. AI 서비스가 일회성 학습이 아닌 24시간 상시 운영 국면으로 접어들면서 이 병목이 더 이상 감내할 수 없는 수준으로 확대되고 있는 양상이다.

이 틈에서 부상한 대안이 신경망처리장치(NPU)다. NPU는 인공신경망 기반 연산, 특히 추론에 최적화된 반도체로 불필요한 회로를 최소화해 저전력·저지연 환경에 강점을 가진다. 시장조사업체 데이터인테로에 따르면 글로벌 NPU 시장은 2025년부터 2033년까지 연평균 19.8% 성장해 2033년 304억달러 규모에 이를 전망이다. AI 활용이 산업 전반으로 확산되면서 ‘학습’보다 ‘운영’이 중요해진 결과로 풀이된다.

국내 AI 반도체 팹리스에 이 변화는 오랜 기다림 끝에 찾아온 기회로 평가된다. 국내 업체들이 집중해 온 NPU는 엔비디아의 범용 GPU가 제공하기 어려운 전성비와 추론 워크로드 최적화에서 강점을 보인다. 아직 이 시장의 절대 강자가 없다는 점도 변수다. 리벨리온, 퓨리오사AI, 딥엑스, 모빌린트 등은 엣지부터 데이터센터까지 다양한 추론용 칩을 앞세워 양산과 실증 단계에 진입했다.

다만 이제 관건은 기술력이 아닌 실적이라는 의견이 지배적이다. 업계에서는 “어떤 기술을 만들었느냐보다, 실제 고객에게 얼마만큼 공급했는지가 경쟁력을 가른다”는 의견이 나온다. 기술검증(PoC)과 시험 생산을 넘어 실제 공급 이력을 쌓아야만 장기 성장이 가능하다는 것이다. 해외 AI 칩 스타트업들이 이미 대규모 공급 계약을 성사하며 성과를 내고 있다는 점도 국내 팹리스에 더 이상 시간을 허락하지 않는 요인 중 하나로 꼽힌다.

이 같은 전선 이동은 국가 인프라 설계에서도 감지된다. 정부는 GPU 중심의 국가 AI 컴퓨팅 인프라에 더해, 추론 특화 NPU를 병행하는 구조로 방향을 틀고 있다. 광주에는 국가 NPU 컴퓨팅센터 구축을 위한 사전 작업이 본격화됐다. GPU 대비 전력 소모가 최대 3배 이상 적은 NPU를 중심으로, 추론 중심 AI 인프라를 설계하겠다는 구상이다. 학습(GPU)과 추론(NPU)을 분리·병행하는 글로벌 흐름을 국가 전략 차원에서 수용한 사례로 해석된다.

민간 기업의 선택도 변하고 있다. LG전자는 AI 기반 지능형 보안 설루션에 리벨리온의 NPU 적용을 검토하며 PoC를 진행 중이다. 24시간 영상 추론이 필요한 보안·CCTV 영역에서 GPU의 비용 부담이 커지자, 추론 전용 NPU로 전환해 경제성과 효율을 동시에 확보하겠다는 판단이다. GPU 중심 인프라에서 벗어나려는 대기업의 실질적 시도로, AI 반도체 전선 이동이 개념이 아닌 구매 단계에 진입했음을 보여준다.

정부 정책 역시 이 흐름을 뒷받침하고 있다. 정보통신산업진흥원(NIPA)은 독자 AI 파운데이션 모델 프로젝트에서 개발 중인 국가대표 AI 모델을 국산 NPU 위에서 구동하는 실증에 나선다. GPU 1만3000장에 이어 추가 도입을 병행하면서도, 국산 NPU 상용화를 동시에 추진하는 이중 전략이다. 전북·경남 지역에 2조원을 투입하는 피지컬 AI 공장 구축 역시 추론과 현장 적용 중심의 AI 전환을 전제로 하고 있다.

GPU의 한계가 가장 분명하게 드러나는 영역은 로봇이다. 배터리로 구동되는 로봇은 고전력·고발열 GPU를 감당하기 어렵다. 실제로 국산 NPU는 수 와트(W) 단위 전력으로 GPU에 준하는 추론 성능을 구현, 가격 경쟁력에서도 격차를 벌리고 있다. 딥엑스가 중국 바이두와 대규모 공급 계약을 체결하는 등 실질적 성과가 나오고 있는 배경이다.

최기영 전 과학기술정보통신부 장관은 “지금이 글로벌 로봇 경쟁의 티핑 포인트”라며 “로봇은 AI 반도체 경쟁력이 실제로 검증되는 응용처”라고 지적했다. 그는 “로봇은 지연 없는 즉각 반응이 필수인 시스템으로, 클라우드·서버 중심 구조에는 한계가 분명하다”며 “온디바이스·엣지 AI와 저전력 반도체 설계 역량이 핵심이 될 것”이라고 말했다.

다만 GPU를 완전히 대체하는 국면으로의 급격한 전환은 쉽지 않다는 우려도 나온다. 학습과 추론을 분리한 이원 구조, 소프트웨어 생태계, 시스템온칩(SoC) 설계 역량 등 넘어야 할 과제가 적지 않다는 것이다. 그럼에도 분명한 것은 AI 반도체 경쟁의 기준이 ‘얼마나 빠르게 학습하느냐’에서 ‘얼마나 효율적으로 운영하느냐’로 이동하고 있다는 점이다.

한 반도체 업계 관계자는 “AI 인프라가 학습 중심에서 실제 운영 단계로 넘어가면서 이제는 연산 성능보다 전력 효율과 총비용(TCO)이 더 중요한 기준이 되고 있다”며 “이 변화는 특정 칩의 우열 문제가 아닌, AI 반도체 경쟁의 무게중심 자체가 이동하고 있음을 보여준다”고 설명했다. 이어 “국내 팹리스도 기술 단계는 넘어섰고, 이제는 공급 실적과 고객 레퍼런스를 얼마나 빠르게 쌓느냐가 관건”이라고 강조했다.