| 서울=한스경제 김종효 기자 | 인공지능(AI) 추론 효율화 기업 노타가 문샷AI의 초거대 모델 '키미 K3.1 Pro'를 최적화해 그래픽처리장치(GPU) 초기 구매비용을 최대 약 20% 낮췄다고 10일 밝혔다.
이번 기술 적용으로 과거 엔비디아 B300 GPU 8대를 요구했던 모델을 상대적으로 가격 부담이 적은 B200 GPU 8대 구성에서도 구동할 수 있게 됐다. 이에 따라 기업과 개발자는 B300을 새로 도입하지 않고도 기보유한 B200 인프라를 활용하거나 초기 구매비가 낮은 하드웨어를 택할 수 있다. 모델의 핵심 성능을 유지하면서 구동 가능한 장비 선택지를 넓혀 인프라 투자 부담을 덜었다는 설명이다.
키미 K3.1 Pro는 2조8000억개의 매개변수를 보유해 전체 매개변수 기준 현존 공개 오픈웨이트 AI 모델 가운데 최대 규모를 자랑한다. 모델 덩치가 커질수록 메모리와 GPU 자원 확보가 필수적인 만큼 성능을 보존하며 하드웨어 문턱을 낮추는 최적화의 효용도 커진다.
노타는 모델 내부 전문가 모듈을 선별 제거하는 프루닝 기법으로 해당 모듈을 최대 37% 덜어냈다. 이를 통해 필요한 메모리 용량을 줄여 B300 대신 B200 GPU 8장 환경에서도 원활히 동작하도록 구현했다. 고난도 과학 추론 능력을 측정하는 'GPQA Diamond' 평가에서는 원본 모델 점수 대비 99% 이상을 기록했다.
아울러 전문가 프루닝으로 절감한 메모리 공간은 긴 문맥 처리와 답변 생성 속도 개선에 투입했다. B200 GPU 8장 체제에서 전문가를 30% 감축한 모델은 최대 51만2000토큰, 37% 감축한 모델은 최대 100만토큰 문맥을 처리할 수 있다. 토큰은 AI가 글과 코드를 다루는 기본 단위로 긴 문맥을 지원할수록 한 번에 참고 가능한 정보량이 늘어난다. 또 답변 생성을 보조하는 드래프트 모델을 동시 구동해 다음 내용을 사전 제안하고 본 모델이 한꺼번에 검증하는 '추측 디코딩' 방식을 지원해 답변 생성 속도를 끌어올렸다.
노타 자체 견적 기준 동일 AI 모델 조건에서 B300 대신 B200을 쓰면 GPU 구매비용을 최대 약 20% 아낄 수 있다. 클라우드 임대료 비교에서도 B200 구성이 최대 약 22%가량 저렴하게 나타나 고객 예산과 운영 환경에 맞춘 선택이 가능하다. 해당 수치는 2026년 11월 기준 자사 견적에 따른 것으로 공급 조건과 시점에 따라 변동될 수 있다.
이번 성과는 앞서 키미 K3 실행에 필요한 B300 GPU를 8장에서 최대 4장으로 줄인데 이은 후속 최적화 결과다. 이전에는 동일 GPU 수량을 줄였다면 이번에는 최신 후속 모델에 필요한 GPU 사양 자체를 낮춰 모델 특성과 인프라 조건에 맞춰 도입 부담을 줄였다. 노타는 이러한 경험을 토대로 한정된 컴퓨팅 자원에서 고성능 모델을 다루려는 수요에 대응할 계획이다.
채명수 노타 대표는 “AI 산업의 경쟁력은 더 많은 고성능 GPU를 확보하는 것뿐 아니라, 이미 보유한 컴퓨팅 자원에서 얼마나 높은 성능과 효율을 구현하느냐에 달려 있다”며 “이번 성과는 초거대 AI 모델의 주요 추론 성능을 유지하면서 하드웨어 요구 조건을 낮춰 AI 도입의 경제성을 개선할 수 있음을 보여준다”고 말했다.
이어 “노타는 모델 경량화부터 추론 실행과 서빙 최적화까지 기술 적용 범위를 확대하고 있다”며 “기업들이 기존 AI 인프라를 더욱 효율적으로 활용하고 새로운 모델을 합리적인 비용으로 도입할 수 있도록 최적화 소프트웨어 사업을 강화하겠다”고 덧붙였다.
한편 이번에 최적화된 키미 K3.1 Pro 경량화 모델은 글로벌 AI 플랫폼 허깅페이스를 통해 살펴볼 수 있다.
Copyright ⓒ 한스경제 무단 전재 및 재배포 금지
