AI 모델 경량화 및 최적화 전문기업 노타가 LG AI연구원의 초거대 인공지능(AI) 모델 '엑사원(EXAONE) 236B'를 국산 AI 반도체 환경에 최적화하는 데 성공했다. 모델 크기를 크게 줄이면서도 원본에 가까운 성능을 유지해 국내 AI 반도체와 대규모 언어모델(LLM)을 결합한 소버린 AI 인프라 구축 가능성을 보여줬다는 평가다.
노타는 퓨리오사AI의 데이터센터용 신경망처리장치(NPU)에서 LG AI연구원의 초거대 AI 모델 엑사원 236B 최적화를 완료했다고 30일 밝혔다.
엑사원 236B는 약 2,360억 개의 파라미터를 갖춘 초대형 언어모델이다. 여러 전문가 모델 가운데 필요한 모델만 선택적으로 활용하는 MoE(Mixture of Experts) 구조를 채택해 계산 효율을 높인 것이 특징이다.
다만 MoE 기반 대형 모델은 양자화와 최적화 과정에서 작은 오차가 누적될 경우 추론 성능이 저하될 가능성이 있어, 실제 서비스 수준의 성능을 유지하기 위한 정교한 최적화 기술이 요구된다.
노타는 이번 프로젝트에서 모델 전체를 일괄적으로 경량화하지 않고 성능 저하 가능성이 높은 일부 구간만 정밀 분석해 선택적으로 최적화를 적용했다고 설명했다.
그 결과 모델 크기를 약 71% 줄여 메모리 사용량을 크게 낮추면서도 주요 성능 지표에서는 원본 모델과 유사한 수준을 유지했다.
회사가 공개한 자체 평가 결과에 따르면 최적화된 모델은 ▲과학 추론(GPQA) 79.80점 ▲지시 이해(IFBench) 68.98점 ▲수학 문제 해결(AIME25) 88.57점을 기록했다. 원본 모델의 성능은 각각 GPQA 79.1점, IFBench 67.3점, AIME25 92.8점이었다.
노타는 세 가지 주요 벤치마크의 단순 평균 기준으로 원본 모델 대비 약 99.2% 수준의 정확도를 유지했다고 밝혔다.
이는 동일한 규모의 초거대 AI 모델을 훨씬 적은 메모리 자원으로 구동할 수 있는 가능성을 보여주는 결과로, 데이터센터 운영 효율 향상에도 도움이 될 수 있다는 것이 회사 측 설명이다.
이번 프로젝트는 단순히 대형 AI 모델을 국산 NPU에서 실행하는 데 그치지 않고 실제 서비스 환경에서 활용 가능한 수준의 성능과 안정성을 확보했다는 점에 의미가 있다는 평가다.
노타는 이번 성과가 퓨리오사AI의 데이터센터용 AI 반도체, LG AI연구원의 초거대 AI 모델, 자사의 AI 모델 최적화 기술이 결합해 국내 AI 기술 생태계 안에서 대규모 언어모델을 운영할 수 있는 가능성을 보여준 사례라고 설명했다.
최근 글로벌 AI 산업에서는 초거대 AI 모델과 AI 반도체 확보 경쟁이 치열해지고 있다. 일부 국가를 중심으로 AI 반도체와 첨단 AI 기술에 대한 수출 통제가 강화되면서 국가 차원의 AI 기술 자립, 이른바 '소버린 AI(Sovereign AI)' 전략도 주요 화두로 떠오르고 있다.
이런 흐름 속에서 AI 모델뿐 아니라 이를 구동하는 반도체와 최적화 소프트웨어를 함께 확보하는 것이 국가 AI 경쟁력의 핵심 요소로 꼽힌다.
채명수 노타 대표는 "소버린 AI 시대에는 AI 모델과 반도체, 최적화 소프트웨어가 하나의 실행 가능한 인프라로 유기적으로 연결되는 것이 중요하다"며 "이번 프로젝트는 퓨리오사AI의 데이터센터용 NPU와 LG의 엑사원, 노타의 최적화 기술을 결합해 초거대 AI 모델의 실제 운영 가능성을 확인한 사례"라고 말했다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
