노타, 키미 K3 경량화로 GPU 50% 절감

노타

| 서울=한스경제 김종효 기자 | 노타는 문샷AI의 초거대 AI 모델 키미 K3를 경량화해 구동에 필요한 GPU 수를 절반까지 줄였다고 6일 밝혔다.

노타는 5일 키미 K3의 전문가 모듈을 25%, 50% 줄인 경량화 모델 2종을 공개했다. 이에 따라 엔비디아 B300 GPU 수는 기존 8장에서 각각 6장, 4장으로 감소했다.

키미 K3는 2조8000억 개 매개변수를 가진 프론티어급 오픈웨이트 AI 모델이다. 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(MoE) 구조를 채택했다. 높은 성능을 위해 기존에는 B300 GPU 8장이 필요했다.

모델 크기와 연산량을 줄이기 위해서는 경량화가 필수다. 하지만 키미 K3는 학습 단계에서 가중치와 활성값을 각각 4비트, 8비트로 낮춰 설계됐다. 이 때문에 일반적인 양자화 방식만으로는 추가 압축이 어려웠다.

노타는 자체 개발한 비균일 전문가 프루닝 기술을 적용했다. 이 기술은 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 남기고 기여도가 낮은 모듈만 선별적으로 제거한다. 기존처럼 모든 층을 동일 비율로 줄이지 않고, 층별로 제거 비율을 다르게 적용해 성능 저하를 최소화했다.

노타가 자체 평가한 결과, 50% 경량화 모델은 기존 REAP 방식보다 대다수 벤치마크에서 더 높은 성능 보존율을 보였다. 특히 GPQA-Diamond와 IFEval 점수는 각각 2.52점, 2.22점 높았다.

노타는 이번 성과로 대규모 MoE 모델에 대한 기술 적용성을 입증했다고 밝혔다. 앞서 노타가 허깅페이스에 공개한 업스테이지 솔라 오픈2 경량화 모델은 공개 2주 만에 누적 다운로드 6만8000회를 기록했다.

김태호 노타 최고기술책임자는 "비균일 전문가 프루닝 기술로 키미 K3까지 성공적으로 경량화해 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄였다"며 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다"고 말했다.