모티프, 자체 LLM ‘모티프 12.7B’ 공개...프롬 스크래치 역량 입증

경량 모델로 글로벌 AI 시장에서 주목받았던 AI 스타트업 모티프테크놀로지스가 자체 개발한 대규모 언어 모델(LLM)인 ‘Motif 12.7B’를 5일 허깅페이스에 오픈소스로 공개하며 독보적인 프롬 스크래치 역량을 다시 한번 입증했다.

Motif 12.7B는 앞서 공개했던 경량 모델(Motif 2.6B)에서 한 단계 도약한 고성능 LLM으로 추론 능력과 학습 효율 모두를 혁신적으로 끌어올렸다.

모티프테크놀로지스는 독자적으로 개발·고안한 ‘그룹 단위 차등 어텐션(Grouped Differential Attention)’과 ‘뮤온 옵티마이저(Muon Optimizer) 병렬화 알고리즘’이라는 두 가지 LLM 개발 기술을 통해, 모델 성능과 학습 효율의 혁신적 향상을 이뤘다.