노타, ICML 2026서 MoE 양자화 논문 2편 채택

노타

| 서울=한스경제 김종효 기자 | 노타는 세계적 머신러닝 학회 ICML 2026의 AdaptFM 워크샵에서 MoE 특화 양자화 알고리즘 논문 2편을 채택받았다고 11일 밝혔다.

ICML은 머신러닝과 인공지능 분야를 대표하는 학회다. AdaptFM 워크샵은 대규모 AI 모델을 제한된 컴퓨팅 자원에서 효율적으로 실행하는 기술을 다룬다. 아마존, 메타 등 글로벌 기업과 주요 연구기관 연구자들이 조직위원회에 참여한다. 엔비디아, 퀄컴, 오픈AI, 애플, 마이크로소프트 등 AI 기업 연구자들도 프로그램 위원으로 활동한다.

노타는 최근 대형 언어 모델의 핵심 구조로 주목받는 MoE(Mixture-of-Experts) 모델 최적화 분야에서 기술력을 인정받았다. MoE는 여러 전문가 모델 중 일부만 선택해 동작한다. 대형 AI 모델의 성능과 효율을 동시에 높일 수 있다. 구조가 복잡해 양자화 과정에서 기존 모델과 다른 접근이 필요하다.

노타는 엔비디아 네모트론 해커톤에서 데이터 기반 MoE 양자화 기법으로 트랙 우승과 종합우승을 차지했다. 이번 워크샵에서도 MoE 구조에 특화된 연구 성과를 선보인다.

첫 번째 논문 'DREAM-MoE'는 대규모 AI 모델을 여러 구간으로 나누어 양자화할 때 판단 흐름의 변화를 줄이는 방법을 제안한다. 앞 구간의 작은 오차가 뒤 구간의 전문가 선택에 영향을 줄 수 있다는 점에 주목했다. DREAM-MoE는 양자화 이후에도 모델이 원래와 유사하게 전문가를 선택하도록 돕는다.

두 번째 논문 'SRA-MoE'는 모델 결과에 큰 영향을 주는 입력을 선별해 우선 보호하는 방법을 제시한다. 모든 입력을 동일하게 다루지 않고, 핵심 입력에서 전문가 선택이 흔들리지 않도록 설계했다. 제한된 자원에서도 모델 품질을 유지할 수 있다.

두 연구 모두 최신 MoE 특화 양자화 기법과 비교해 더 높은 성능을 보였다. 대규모 AI 모델을 적은 메모리와 연산 자원으로 실행하면서 품질 저하를 줄일 수 있음을 입증했다. 대형 AI 모델 운영에 필요한 비용, 전력, 하드웨어 부담이 커지는 상황에서 MoE 특화 양자화 기술의 중요성이 커지고 있다.

노타는 대형 AI 모델 최적화 분야에 연구개발 역량을 집중하고 있다. 업스테이지 컨소시엄의 파운데이션 모델 과제에서 Solar MoE 등 대규모 모델 최적화를 추진한다. 엔비디아 네모트론 3 나노 모델 양자화 경험을 네모트론 울트라 등 최신 대형 모델로 확장하고 있다.

채명수 노타 대표는 "이번 논문 채택은 노타가 MoE에 특화된 양자화 기술을 꾸준히 고도화해온 성과"라며 "엔비디아 네모트론 해커톤 종합우승에 이어 ICML 2026 AdaptFM 워크샵에서도 연구 성과를 선보이게 된 만큼, 대규모 AI 모델을 더 효율적으로 활용할 수 있는 최적화 기술 개발을 이어가겠다"고 말했다.

노타는 ICML 2026 기간 중 서울 코엑스에서 'Nota AI - Korea Efficient Days'를 개최한다. 글로벌 연구자, 엔지니어, 기업 관계자들과 Efficient AI 연구 흐름과 산업 적용 가능성을 공유할 계획이다. 이번 행사에서 노타는 대규모 AI 모델 최적화 분야 연구 성과를 소개하고, 기술 협력과 비즈니스 접점을 확대할 방침이다.