| 서울=한스경제 김종효 기자 | 리벨리온은 SK텔레콤의 초거대 AI 파운데이션 모델 A.X K1을 자사 서버 인프라에서 성공적으로 구동했다고 23일 밝혔다. 리벨리온은 이를 기반으로 여러 사용자의 동시 요청을 처리하는 에이전트 서비스 데모를 선보였다.
이번 실증은 국산 대형 모델과 고성능 국산 NPU 결합을 통해 복잡한 대규모 연산을 효율적으로 처리한 사례다. 리벨리온은 5,000억 개 이상의 파라미터를 가진 국내 최대 초거대 언어모델을 리벨서버로 안정적으로 실행하며 서빙 효율을 입증했다. 단일 서버 구성만으로 글로벌 고성능 GPU 서버에 준하는 인프라 역량을 확보했다. 한 대의 서버에서 초거대 모델 연산이 낭비 없이 이뤄져 데이터센터 구축과 운영 부담을 줄였다.
고효율 인프라는 K1의 구조적 강점과 리벨리온 소프트웨어 기술이 맞물린 결과다. K1은 MoE 구조를 바탕으로 500B 모델에서도 효율성을 확보했다. 리벨리온은 MoE 모델 지원과 함께 전용 소프트웨어를 최적화했다. 다양한 연산을 반도체 칩에 효율적으로 분산 처리해 단일 서버에서도 수많은 사용자의 요청을 실시간으로 처리할 수 있도록 했다.
리벨리온은 지도형 에이전트 서비스 데모로 실제 활용 가능성도 증명했다. 여러 사용자가 동시에 접속해 각기 다른 질문을 던져도 A.X K1이 병목 없이 실시간 처리해 지도 위에 결과를 표시한다. 국산 AI 기술 조합만으로 다수 사용자가 동시에 이용하는 실생활 공공 AI 에이전트 서비스를 안정적으로 운영할 수 있음을 보여줬다.
박성현 리벨리온 대표는 "이번 실증은 국산 초거대 모델과 국산 NPU 결합만으로 대규모 AI 서비스를 운영할 수 있음을 보여준 소버린 AI의 실질적 사례"라며 "앞으로도 SK텔레콤과 함께 누구나 일상에서 AI를 누릴 수 있는 한국형 AI 인프라를 만들어가겠다"고 말했다.
리벨리온은 과학기술정보통신부의 독자 AI 파운데이션 모델 사업 SKT 컨소시엄 구성원으로 국산 NPU 기반 인프라를 실증하고 있다. 또 에이닷 전화 통화요약 등 대규모 트래픽이 발생하는 실시간 AI 서비스를 약 1년간 안정적으로 구동해왔다. 리벨리온은 정부의 '대한민국 대도약 3대 메가프로젝트'와 '모두의 AI' 프로젝트에서 강조한 '누구나 부담 없이 활용하는' AI 기반 구축에도 국산 NPU 인프라 파트너로 기여할 계획이다.
Copyright ⓒ 한스경제 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
