리벨리온, 국산 NPU로 SKT 500B AI 모델 구동 성공…“AI 인프라 효율성 입증”

[이데일리 김현아 기자] 국내 AI 반도체 기업 리벨리온이 국산 신경망처리장치(NPU) 기반 서버로 5000억 파라미터(500B) 규모의 초거대 AI 모델 구동에 성공했다. 대규모 AI 서비스 운영의 핵심 과제로 꼽히는 비용과 전력 효율 문제를 해결할 수 있는 국산 인프라 경쟁력을 입증했다는 평가다.

리벨리온(대표 박성현)은 자체 AI 반도체 서버 ‘리벨서버(RebelServer)’를 활용해 SK텔레콤(017670)의 독자 AI 파운데이션 모델 ‘A.X K1’을 성공적으로 구동했다고 23일 밝혔다.

이번 실증은 5000억 개 이상의 파라미터를 가진 대형 AI 모델을 단일 서버 환경에서 처리한 사례다. 리벨리온은 초거대 AI 모델 운영에 필요한 서버 수와 데이터센터 자원 부담을 줄이고, AI 서비스 상용화에 필요한 인프라 효율성을 확보했다고 설명했다.

초거대 AI 모델은 성능 향상을 위해 막대한 연산량을 요구하면서 고성능 GPU 서버 중심으로 구축돼 왔다. 하지만 GPU 확보 비용과 전력 소비 증가가 AI 서비스 확대의 걸림돌로 지적되고 있다. 리벨리온은 이번 사례를 통해 국산 NPU 기반 인프라가 대규모 AI 서비스 운영의 대안이 될 수 있음을 보여줬다는 점을 강조했다.

이번 성과는 SK텔레콤의 AI 모델 구조와 리벨리온의 소프트웨어 최적화 기술이 결합한 결과다. A.X K1은 대형 AI 모델의 효율적인 운영을 위해 활용되는 MoE(전문가 혼합) 구조를 적용해 500B급 모델에서도 연산 효율을 높였다.

리벨리온은 자체 소프트웨어 기술을 통해 AI 연산을 NPU에 최적화하고, 여러 종류의 작업을 병렬 처리하는 기술을 적용했다. 이를 통해 단일 서버에서도 다수 사용자의 AI 요청을 안정적으로 처리할 수 있도록 했다.

특히 이번 실증에서는 실제 서비스 적용 가능성도 확인했다. 리벨리온은 ‘지도(Map) 기반 AI 에이전트 서비스’ 데모를 통해 여러 사용자가 동시에 질문하는 환경에서도 AI가 실시간으로 답변을 생성하고 결과를 제공하는 모습을 선보였다.

예를 들어 사용자가 ‘주말에 이용 가능한 약국’ 등 일상적인 정보를 요청하면 AI가 데이터를 분석해 지도 기반 결과를 제공하는 방식이다. 국산 AI 모델과 국산 NPU 인프라만으로도 대규모 이용자가 사용하는 AI 에이전트 서비스 구현 가능성을 보여준 사례다.

리벨리온은 이번 성과를 기반으로 국산 AI 모델과 NPU를 결합한 ‘소버린 AI’ 생태계 확대에 속도를 낼 계획이다. 과학기술정보통신부의 독자 AI 파운데이션 모델 사업에서도 SK텔레콤 컨소시엄에 참여해 국산 NPU 기반 AI 인프라 실증을 진행하고 있다.

또한 대규모 트래픽이 발생하는 ‘에이닷 전화 통화요약’ 서비스를 약 1년간 안정적으로 운영한 경험을 바탕으로, 향후 정부가 추진하는 ‘모두의 AI’ 등 국민 대상 AI 서비스 확산에도 기여한다는 방침이다.

박성현 리벨리온 대표는 “이번 실증은 국산 초거대 AI 모델과 국산 NPU 결합만으로 대규모 AI 서비스 운영이 가능하다는 점을 보여준 사례”라며 “인프라 효율성과 실사용 가능성을 모두 입증한 만큼 한국형 AI 생태계 경쟁력 강화에 기여하겠다”고 말했다.