노타, 中 AI모델 '키미 K3' 경량화 성공…"GPU 사용량 절반으로 줄였다"

[이데일리 윤정훈 기자]AI 모델 경량화·최적화 기술 기업 노타(대표 채명수)가 글로벌 인공지능(AI) 업계의 주목을 받는 문샷AI의 초거대 AI 모델 ‘키미 K3(Kimi K3)’를 경량화하는 데 성공했다. 구동에 필요한 그래픽처리장치(GPU)를 최대 절반으로 줄이면서, 2조 8,000억 개의 매개변수(파라미터)를 갖춘 프론티어급 AI 모델 분야에서도 독보적인 기술력을 입증했다.

(사진=노타)

노타는 5일 자체 개발한 ‘비균일 전문가 프루닝(Non-uniform Expert Pruning)’ 기술을 적용해 키미 K3의 경량화 모델 2종을 공개했다고 밝혔다.

키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(MoE·Mixture-of-Experts) 구조를 채택한 오픈웨이트 AI 모델이다. 성능은 뛰어난 반면 구동 시 엔비디아의 최신 고성능 GPU인 ‘B300’ 8장이 필수적이어서 Enterprise(기업) 및 개발자층의 인프라 비용 부담이 큰 한계가 있었다.

특히 키미 K3는 학습 단계부터 가중치(4비트)와 활성값(8비트)이 저비트로 설계돼 있어, 수치의 정밀도를 낮춰 크기를 줄이는 일반적인 ‘양자화’ 방식으로는 추가 압축에 한계가 뚜렷했다.

노타는 이를 해결하기 위해 모델 층별 특성과 모듈 중요도를 다각도로 분석, 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 기술을 도입했다. 모든 층을 동일 비율로 줄이던 기존 방식과 달리 층별 제거 비율을 다르게 적용해 성능 저하를 최소화한 것이 핵심이다.

이 기술을 통해 노타는 키미 K3의 전문가 모듈을 각각 25%, 50% 줄인 모델을 개발했다. 이에 따라 구동에 필요한 엔비디아 B300 GPU 수 역시 기존 8장에서 6장, 4장으로 대폭 축소됐다. 기업 입장에선 대규모 AI 모델 운영 비용을 대폭 아낄 수 있게 된 셈이다.

성능 보존율도 우수하다. 노타의 50% 경량화 모델은 기존 REAP(Router-weighted Expert Activation Pruning) 방식 대비 대부분의 벤치마크에서 뛰어난 성적을 냈다. 고난도 과학·추론 능력을 평가하는 ‘GPQA-Diamond’와 지시 이행 능력을 평가하는 ‘IFEval’ 점수에서 각각 2.52점, 2.22점 높은 수치를 기록했다.

앞서 노타가 글로벌 AI 플랫폼 허깅페이스에 공개한 업스테이지 ‘솔라 오픈 2’ 경량화 모델은 공개 2주 만에 누적 다운로드 6만 8,000회를 돌파하는 등 시장의 높은 수요를 확인한 바 있다.

김태호 노타 최고기술책임자(CTO)는 “자체 개발한 비균일 전문가 프루닝 기술을 바탕으로 솔라 오픈2에 이어 프론티어급 모델인 키미 K3까지 성공적으로 경량화해 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄이는 등 초거대 AI 모델의 연산 효율성을 높였다”며, “다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다”고 말했다.