과학기술정보통신부(장관 배경훈)가 주최하고 소프트웨어정책연구소(SPRi, 소장 김형철)가 주관하는 '2026 SW산업전망 컨퍼런스(Software Prospect Conference)'가 '인공지능, 소프트웨어 그리고 대전환'을 주제로 성황리에 개최됐다.
인공지능 전문언론 AI포스트(AIPOST)는 국내외 AI·SW 산업의 최신 동향을 공유하고, 분야별 전문가들이 제시하는 시장 전망과 전략적 대응 방향을 심도 있게 전달하기 위해 이번 컨퍼런스의 주요 내용을 특집 시리즈로 소개하고자 시리즈를 기획했다. <편집자주>
“지금까지의 AI 전쟁이 누가 더 좋은 계산기(GPU)를 가졌느냐의 싸움이었다면, 이제는 그 계산기들을 어떻게 연결하느냐의 싸움이다. 엔비디아가 세계를 제패한 진짜 비결은 GPU 칩 자체가 아니라, 누구도 빠져나갈 수 없게 설계된 ‘네트워크 독점’에 있다.”
서울대학교 전기정보공학부 교수이자 글로벌 스타트업 망고부스트를 이끄는 김장우 대표는 AI 인프라 시장의 거대한 패러다임 시프트를 예고했다. 그는 AI 모델이 거대해질수록 연산 속도보다 ‘데이터 이동 속도’가 수익성을 결정짓는 핵심 변수가 될 것이라고 밝혔다.
“CPU는 이미 한계”…AI 인프라의 숨은 암초 ‘병목 현상’
김 대표는 현재 AI 시스템이 직면한 가장 큰 문제로 ‘CPU 병목’을 꼽았다. GPU 성능은 지난 10년간 비약적으로 발전했지만, 데이터를 실어 나르는 운영체제와 CPU의 속도는 그 발전 속도를 전혀 따라가지 못하고 있다는 지적이다.
그는 “아무리 비싼 GPU를 수만 장 박아 넣어도, 데이터를 공급하는 통로가 막히면 무용지물”이라며 “이 병목 현상을 해결하지 못하면 기업들은 막대한 전기세와 장비 비용만 지불하고 실질적인 성능을 뽑아내지 못하는 악순환에 빠지게 된다”라고 경고했다.
엔비디아의 성벽을 넘는 열쇠, ‘DPU’와 ‘표준화’
김 대표는 엔비디아가 인수한 멜라녹스(Mellanox)의 기술력을 언급하며, 그들이 구축한 폐쇄적인 생태계를 정면으로 비판했다. 현재 기업들이 엔비디아 시스템을 ‘제발 팔아달라’며 줄을 서는 이유는 네트워크 카드부터 스위치까지 모든 통신 규격이 엔비디아 전용으로 묶여 있기 때문이다.
이에 대한 망고부스트의 해법은 ‘DPU(Data Processing Unit)’다. DPU는 CPU가 하던 복잡한 통신과 보안, 가상화 업무를 대신 처리하는 똑똑한 네트워크 가속기다.
김 대표는 “DPU를 통해 인프라 구축 및 운용 비용(TCO)을 최대 70%까지 절감할 수 있다”며, “리눅스 기반의 표준 프로토콜을 사용하면 엔비디아뿐만 아니라 AMD GPU, 국산 NPU 등 다양한 선택지를 자유롭게 조합할 수 있는 ‘인프라 독립’이 가능하다”라고 강조했다.
“한국형 AI 인프라, 시스템으로 승부해야”
김 대표는 망고부스트를 ‘반도체 회사가 아닌 시스템 회사’라고 정의했다. 하드웨어 칩 하나에 매몰되는 것이 아니라, 소프트웨어부터 서버 렉(Rack) 전체를 아우르는 ‘풀스택 솔루션’이 필요하다는 것이다.
특히 국가 데이터 센터 구축 시 특정 외산 기술에 종속되지 않으려면, 초기 설계 단계부터 표준 인프라를 채택해야 한다고 조언했다. 그는 “전 세계에서 엔비디아와 맞설 수 있는 시스템 기술력을 가진 곳은 극히 드물다”며, 망고부스트가 AMD와의 전략적 파트너십을 통해 엔비디아를 능가하는 벤치마크 성능을 입증하고 있다는 자신감을 내비쳤다.
“기술을 넘어 생태계로”…M&A 문화 아쉬움 토로
강연 말미에 김 대표는 국내 AI 생태계에 대한 쓴소리도 아끼지 않았다. 실리콘밸리는 대기업이 혁신적인 스타트업을 인수하며 거대한 에너지를 만들어내지만, 한국은 여전히 대기업 내부 개발에 의존하며 작은 기술들을 흡수하는 문화가 부족하다는 점을 꼬집었다.
김 대표는 “AI가 공기처럼 당연해지는 2026년, 대한민국이 진정한 AI 강국으로 도약하려면 개별 칩 제조를 넘어 인프라 전체를 지휘하는 ‘시스템 오케스트레이터’가 나와야 한다”며 강연을 마무리했다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
