노타, 업스테이지 LLM ‘솔라’ 메모리 72% 절감 기술 공개… MoE 양자화 알고리즘 개발
AI 경량화·최적화 기술 기업 노타가 대형언어모델(LLM)의 메모리 사용량을 크게 줄이면서도 성능을 유지하는 양자화 기술을 개발했다.
노타는 업스테이지의 대형언어모델 솔라(Solar Open 100B)에 자사 경량화·최적화 기술을 적용해 모델 메모리 사용량을 약 72% 줄이는 데 성공했다고 밝혔다.
이번 기술은 대규모 모델의 메모리 요구량을 줄여 제한된 하드웨어 환경에서도 LLM을 활용할 수 있는 가능성을 제시했다는 평가다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “스타트업엔” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.
