AI 모델 경량화·최적화 전문기업 노타가 세계적인 머신러닝 학회인 ICML 2026에서 열린 AI 모델 최적화 챌린지에서 3위를 기록하며 대규모 언어모델(LLM) 추론 최적화 기술력을 입증했다.
노타는 ICML 2026 기간 중 개최된 AdaptFM(Resource-Adaptive Foundation Model Inference) 워크숍의 'Efficient Qwen Competition'에서 전 세계 40여 개 참가팀 가운데 최종 3위에 올랐다고 13일 밝혔다.
이번 대회는 글로벌 AI 개발자들이 폭넓게 활용하는 오픈소스 LLM인 'Qwen3.5-4B'를 단일 엔비디아 A10G GPU 환경에서 실행하면서 답변 품질은 유지하고 추론 속도를 얼마나 향상시키는지를 평가하는 방식으로 진행됐다.
노타는 평균 6.978배의 추론 속도 향상을 기록하며 상위권에 이름을 올렸다. 답변 정확도를 유지하면서 응답 시간을 크게 단축한 점이 높은 평가를 받은 것으로 회사는 설명했다.
ICML은 머신러닝과 인공지능 분야를 대표하는 국제 학회 가운데 하나로 꼽힌다. 이번 대회가 열린 AdaptFM 워크숍은 제한된 컴퓨팅 자원에서 대규모 AI 모델을 효율적으로 운영하는 기술을 주제로 진행됐으며, 아마존과 메타를 비롯한 글로벌 기업과 연구기관 연구진이 조직위원으로 참여했다.
노타는 이번 대회에서 자체 개발한 AI 경량화 기술인 양자화(Quantization)와 추측적 디코딩(Speculative Decoding)을 결합해 성능을 끌어올렸다.
양자화는 AI 모델의 메모리 사용량과 연산량을 줄여 효율을 높이는 기술이며, 추측적 디코딩은 초안 모델이 먼저 답변 후보를 생성한 뒤 본 모델이 이를 검증하는 방식으로 응답 속도를 개선한다. 여기에 최근 입력 정보를 중심으로 계산하는 슬라이딩 윈도우 어텐션(Sliding-window Attention) 기법을 적용해 불필요한 연산도 줄였다.
이번 대회 상위권 팀들도 대부분 양자화와 추측적 디코딩을 결합한 방식을 채택한 것으로 나타났다. AI 서비스 경쟁력이 단순한 모델 규모 경쟁을 넘어 추론 효율성과 운영 비용 최적화로 확대되고 있음을 보여주는 대목이다.
노타는 연구 성과도 함께 인정받았다. 회사는 AdaptFM 워크숍에서 Mixture of Experts(MoE) 기반 대규모 언어모델 양자화 기술과 관련한 논문 2편이 채택됐다고 밝혔다.
해당 연구는 여러 전문가 모델 가운데 필요한 일부만 활성화하는 MoE 구조의 특성을 활용해 메모리 사용량과 연산 부담을 줄이면서도 성능 저하를 최소화하는 기술을 제안한 내용이다.
노타는 앞서 엔비디아 네모트론(Nemotron) 해커톤에서도 MoE 양자화 기술로 트랙 우승과 종합우승을 기록한 바 있다. 이번 ICML 성과까지 더해지면서 AI 모델 최적화 분야에서 연구 역량과 실용성을 함께 검증받았다는 평가를 받고 있다.
김태호 노타 CTO 겸 공동창업자는 "글로벌 AI 생태계에서 활용되는 대표적인 오픈소스 모델을 대상으로 추론 최적화 기술력을 인정받은 사례"라며 "온디바이스 AI와 엣지 AI를 비롯해 다양한 AI 서비스 환경으로 최적화 기술 적용 범위를 지속적으로 확대해 나가겠다"고 말했다.
노타는 학회 기간 중 서울 코엑스 인근에서 'Nota AI - Korea Efficient Days'를 열고 글로벌 AI 기업 관계자와 연구자들을 대상으로 효율적인 AI(Efficient AI) 기술 동향과 산업 적용 사례를 소개했다. 행사에는 오픈AI, 구글, 퀄컴 등 글로벌 AI 기업 관계자와 연구진이 참석해 기술 교류를 진행했다.
AI 산업이 거대 모델 경쟁에서 실제 서비스 운영 효율과 비용 절감 경쟁으로 무게 중심을 옮기는 가운데, 추론 최적화 기술은 AI 상용화 경쟁력을 좌우하는 핵심 요소로 주목받고 있다. 이번 성과는 국내 AI 스타트업이 글로벌 연구 무대에서 기술력을 검증받았다는 점에서 의미를 갖는다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
