노타, '1000억 파라미터' LLM 메모리 사용량 72%↓…"현존 양자화 수준 압도 독자 기술 개발"

인공지능(AI) 경량화 및 최적화 기술 기업 노타(486990)가 업스테이지의 고성능 대형언어모델(이하 LLM)인 '솔라'의 모델 크기를 대폭 압축해 추론 비용을 절감하고 처리 속도를 높이면서도 높은 정확도를 유지하는 차세대 양자화 기술을 개발했다고 5일 밝혔다.

이번 개발은 과학기술정보통신부가 주도하는 '독자 AI 파운데이션 모델 프로젝트'의 일환으로, 업스테이지의 '솔라 오픈 100B'에 노타의 경량화·최적화 기술을 적용해 성능은 유지하고 메모리 효율을 크게 개선한 결과다.

일반적인 양자화 기술이 메모리 절감을 위해 성능 저하를 감수해야 했다면, 노타의 성과는 성능을 유지하면서도 적은 GPU 인프라에서 더 많은 사용자에게 빠른 AI 서비스를 제공할 수 있음을 보여준다.