KT, AI 모델 라우팅 기술 ‘종합 2위’…멀티모델 경쟁력 강화

LLM 라우터 전문 공개 벤치마크 ‘RouterArena’ 리더보드에서 KT의 ‘KT-ModelRouter’가 Acc-Cost Arena 기준 2위를 기록한 화면. KT 제공 [뉴스락]

[뉴스락] KT는 자체 개발한 AI 모델 라우팅 기술 'AutoModelRouter(오토모델라우터)'가 LLM 라우터 전문 평가 플랫폼 'RouterArena(라우터 아레나)'의 공개 리더보드에서 종합 2위를 기록했다고 27일 밝혔다.

RouterArena는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼이다. 관련 연구는 머신러닝 분야 국제학회 ICLR 2026의 정식 논문으로 채택됐다. 약 8400개 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등을 평가한다.

KT의 AutoModelRouter는 'KT-ModelRouter'라는 이름으로 리더보드에 등록됐다. 정확도와 비용을 함께 평가하는 'Acc-Cost Arena'에서 2위를 기록했다. 공개 리더보드에는 학계 연구진이 개발한 라우터와 Microsoft의 Azure Model Router 등 상용 기술도 포함돼 있다.

AI 모델이 다양해지면서 기업이 업무에 맞는 모델을 선택하는 과정도 중요해지고 있다. 현재 시장에는 번역·요약·코딩·추론 등 분야별로 특화된 AI 모델이 출시되고 있으며, 모델마다 성능과 이용 비용에도 차이가 있다.

AutoModelRouter는 이용자의 요청을 분석해 여러 AI 모델 가운데 적합한 모델을 자동으로 선택하는 기술이다. 업무 유형과 난이도, 지식 분야 등을 분석한 뒤 모델별 응답 품질과 이용 비용을 고려해 처리할 모델을 결정한다.

예를 들어 단순 번역이나 정보 확인처럼 상대적으로 높은 추론 성능이 필요하지 않은 업무에는 비용 효율적인 모델을 활용하고, 전문적인 분석이나 고난도 추론이 필요한 요청에는 고성능 모델을 연결하는 방식이다.

이용자는 하나의 AI 서비스를 사용하지만 실제 시스템에서는 요청 내용에 따라 서로 다른 AI 모델이 선택된다. 이를 통해 기업은 업무별로 AI 모델을 직접 비교하고 선택하는 부담을 줄일 수 있다.

KT는 AutoModelRouter를 자체 AI 플랫폼 'Token Factory(토큰 팩토리)'의 모델 라우팅 기능에도 적용하고 있다. Token Factory는 다양한 AI 모델과 토큰 이용 환경을 통합적으로 운영하는 플랫폼으로, AutoModelRouter를 통해 요청에 적합한 모델을 자동으로 선택하는 구조다.

KT는 앞으로 AutoModelRouter에 새로운 AI 모델을 추가하고 라우팅 기능을 고도화할 계획이다. 이를 통해 기업 고객이 여러 AI 모델을 하나의 환경에서 활용할 수 있는 멀티모델 운영 환경을 구축하고 기업의 AX 전환을 지원한다는 방침이다.

김준석 KT Agentic AI Lab장은 "AutoModelRouter는 이러한 AI 오케스트레이션 역량을 구현한 기술로 Token Factory를 비롯한 KT의 Agentic AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것"이라고 말했다.