노타, 국산 NPU서 대형 AI 모델 최적화 성공

노타

| 서울=한스경제 김종효 기자 | 노타는 퓨리오사AI의 데이터센터용 NPU에서 LG AI연구원의 K-엑사원 236B 최적화에 성공했다고 30일 밝혔다.

K-엑사원 236B는 약 2,360억 개 파라미터를 가진 대형 AI 모델이다. MoE 구조를 적용해 여러 전문가 모델을 선택적으로 활용한다. MoE 구조는 대형 모델 효율을 높이지만, 각 전문가 모델의 안정적 작동을 위해 정교한 최적화 기술이 필요하다. 프론티어급 대형 모델은 복잡한 문제를 풀 때 긴 추론 과정을 거친다. 이 과정에서 양자화로 생긴 작은 오차가 누적되면 최종 답변 정확도에 영향을 줄 수 있다. 이번 성과는 대형 모델을 국산 NPU 환경에 맞게 최적화하면서도 주요 평가에서 정확도를 유지했다는 점에서 의미가 있다.

노타는 K-엑사원을 퓨리오사AI 데이터센터용 NPU 환경에 맞게 최적화했다. 모델 전체를 다시 조정하지 않고, 성능 저하가 발생할 수 있는 일부 구간만 정밀 분석해 필요한 부분에만 최적화를 적용했다. 이를 통해 대형 AI 모델을 국산 NPU 환경에서 효율적으로 구동하면서도 주요 성능 지표에서 기준 모델 수준의 성능을 유지했다.

노타는 K-엑사원의 모델 크기를 약 71% 줄였다. 대형 AI 모델 구동에 필요한 메모리 부담을 낮췄다. 과학 추론, 지시 이해, 수학 문제 해결 등 주요 평가 항목에서 원본 모델과 유사한 수준의 정확도를 유지했다. 같은 2,360억 개 파라미터 규모의 모델을 더 효율적으로 실행할 수 있도록 최적화했다는 의미다. 데이터센터 AI 인프라 운영 효율을 높일 수 있는 가능성도 확인했다.

노타 자체 평가 환경에서 최적화한 모델은 과학 추론(GPQA) 79.80점, 지시 이해(IFBench) 68.98점, 수학 문제 해결(AIME25) 88.57점을 기록했다. 모델 크기를 줄이기 전 원본 모델은 각각 79.1점, 67.3점, 92.8점이었다. 최적화 이후에도 3개 주요 평가 항목 단순 평균 기준 원본 대비 약 99.2%의 정확도를 유지했다.

이번 성과는 대형 AI 모델을 국산 NPU에서 단순히 실행한 것을 넘어 실제 서비스에 필요한 성능과 안정성을 유지할 수 있음을 확인했다. 퓨리오사AI 데이터센터용 NPU, LG AI연구원의 AI 기술력, 노타의 AI 모델 최적화 기술이 결합해 국내 AI 생태계에서 고성능 LLM 운영 가능성을 보여줬다.

최근 글로벌 AI 산업에서는 최첨단 AI 모델과 이를 구동하는 인프라 접근성이 중요한 이슈로 떠올랐다. 일부 AI 모델과 인프라를 둘러싼 수출 통제 논의 이후 각국이 자국 내 AI 모델과 컴퓨팅 인프라 확보에 나서고 있다. 이번 성과는 국산 AI 반도체, 국내 AI 모델, 이를 연결하는 최적화 기술이 함께 발전해야 함을 보여준다.

채명수 노타 대표는 "소버린 AI가 주목받는 흐름 속에서 중요한 것은 모델, 반도체, 최적화 소프트웨어가 하나의 실행 가능한 AI 인프라로 연결되는 것"이라며 "이번 성과는 퓨리오사AI 데이터센터용 NPU, LG의 K-엑사원, 노타의 최적화 기술이 결합해 대형 AI 모델의 실제 운영 가능성을 확인한 사례"라고 말했다.