KT가 자체 개발한 인공지능(AI) 모델 자동 선택 기술이 글로벌 공개 벤치마크에서 종합 2위에 오르며, 기업 고객의 품질 및 비용 효율을 동시에 만족시킬 수 있는 멀티모델 운영 역량을 입증했다.
KT는 거대언어모델(LLM) 라우터 성능을 측정하는 글로벌 플랫폼인 '라우터 아레나'(RouterArena)에서 자사 라우팅 기술인 '오토모델라우터'(AutoModelRouter)가 전체 2위를 달성했다고 27일 밝혔다.
이 플랫폼은 미국 라이스대학교 연구팀이 구축한 것으로, 이와 관련된 연구 결과는 국제 머신러닝 학회인 ICLR 2026 정규 논문으로 채택되기도 했다. 평가는 약 8400건의 질문 세트를 기반으로 진행되며, 인공지능 라우터 시스템이 지닌 응답의 정확성, 예산 효율성, 입력 변수 변경 시의 안정성 등 실질적인 서비스 구동에 필수적인 지표들을 다각도로 분석한다.
KT의 해당 기술은 리더보드 상에 'KT-ModelRouter' 명칭으로 이름을 올렸으며, 특히 성능과 경제성을 통합적으로 측정하는 'Acc-Cost Arena' 부문에서 두 번째로 높은 성적을 거두었다. 이를 통해 마이크로소프트(MS)의 애저(Azure) 모델 라우터와 같은 주요 상용 서비스 및 학계의 최신 기술들과 경쟁하는 환경 속에서도 다수 AI 모델 중 목적에 맞는 최적의 대안을 찾아내는 기술력을 객관적으로 확인받았다.
최근 산업계에 등장한 인공지능 모델들은 추론, 코딩, 요약, 번역 등 각기 특화된 영역을 지니고 있으며, 구동에 수반되는 단가나 산출물의 품질 역시 상이하다. 단일 모델로 모든 작업을 수행하는 방식의 한계가 명확해짐에 따라, 개별 업무 성격과 목표 품질에 부합하는 적합한 솔루션을 선별하는 기술이 기업의 AI 전환(AX) 전략에 있어 핵심 요소로 부상하고 있다.
KT가 선보인 오토모델라우터 기술은 다수의 인공지능 모델 가운데 사용자의 질의에 가장 적합한 옵션을 자동으로 매칭하는 시스템이다. 사용자의 요청 내용을 바탕으로 △업무 유형 △난이도 △지식 분야 등을 면밀히 파악한 뒤, 모델 간 결과물 수준과 소요 예산을 계산해 최적의 대상 모델에 작업을 할당한다. 일방적으로 최고 성능이나 최저가 모델에 편중하는 구조를 탈피해, 고객사가 기대하는 산출물 품질을 확보하면서도 금전적 부담을 낮추는 방향으로 정책을 설계한 것이 특징이다.
가령 정보의 단순 확인이나 1차적인 번역 작업과 같이 진입 장벽이 낮은 업무에는 경제성이 높은 범용 모델을 투입한다. 반면 고도화된 추론이나 심층적인 분석이 요구되는 사안에 대해서는 연산 능력이 뛰어난 고사양 모델을 연결하는 식이다. 이를 통해 사용자 입장에서는 단일한 창구를 통해 AI를 접하지만, 내부 인프라 단에서는 질문의 성격에 맞추어 다양한 모델이 교차로 작동하게 된다.
이 같은 시스템을 도입할 경우 일선 기업들은 무수히 많은 인공지능 모델들을 개별적으로 비교하고 취사선택해야 하는 수고를 덜게 된다. 나아가 조직 내부의 프로젝트 단위별 필수 성능과 가용 예산의 범위 내에서 AI 기반 인프라를 한층 합리적으로 구축할 수 있을 것으로 전망된다.
이 라우팅 기술은 KT가 주력하고 있는 '토큰 팩토리'(Token Factory) 프로젝트의 핵심 기능으로도 탑재될 예정이다. 다양한 AI 모델과 과금 체계를 일원화해 관리하는 토큰 팩토리 환경 하에서, 사용자 니즈에 부합하는 모델을 유연하게 배정함으로써 서비스 완성도 제고는 물론 토큰 소모량 절감까지 돕는 중심축 역할을 수행하게 된다.
향후 KT는 오토모델라우터 시스템을 지속적으로 개선하는 한편, 신규로 출시되는 외부 AI 모델들을 자유롭게 연동할 수 있는 멀티모델 생태계를 마련하여 법인 고객들의 매끄러운 AI 도입을 뒷받침할 방침이다.
김준석 KT 에이전틱 AI 랩(Lab)장(상무)은 "본격적인 인공지능 시대에 접어들며 최고의 단일 모델을 갖추는 것을 넘어 각 상황에 알맞은 모델을 현명하게 취사선택하는 능력이 관건이 되었다"며 "해당 라우팅 기술은 이 같은 오케스트레이션(통합 제어) 기능을 현실화한 결과물로서, 토큰 팩토리 등 당사 에이전틱 서비스 라인업의 근간이 될 것"이라고 말했다. 이어 "독자적이고 경쟁력 있는 플랫폼 역량을 기반으로 다수 기업들의 본격적인 AI 혁신 여정을 이끌어가겠다"고 덧붙였다.
박성대 기자 / 경제를 읽는 맑은 창 - 비즈니스플러스
Copyright ⓒ 비즈니스플러스 무단 전재 및 재배포 금지
