SKT, 자체 LLM 기반 멀티모달·범용 문서 해석 기술 2종 공개

SK텔레콤 CI./사진=SK텔레콤

SK텔레콤(SKT)은 자사의 거대언어모델(LLM) '에이닷 엑스'(A.X)를 기반으로 한 시각-언어모델(VLM)과 LLM 학습을 위한 범용 문서 해석 기술을 오픈소스 커뮤니티 허깅페이스에서 공개했다고 29일 밝혔다.

이날 공개한 모델은 'A.X 인코더'와 'A.X 4.0 비전 랭귀지(VL) 라이트' 2종으로 모두 학술 연구나 상업 이용 등에 자유롭게 활용 가능하다.

SKT는 7월 한 달간 대규모 학습(CPT)에 기반한 A.X 4.0 모델 2종(표준·경량)에 이어 프롬 스크래치 방식의 A.X 3.1 모델 2종(표준·경량)을 순차적으로 선보였다. 이번에 LLM의 폭넓은 활용을 위한 기술 2종을 추가 공개하면서 총 6개의 모델을 발표했다.

SKT는 A.X 모델에 필요한 데이터의 전 과정 처리 프로세스에 적용하기 위해 A.X 인코더를 개발했다. A.X인코더는 긴 문서도 빠르고 효율적으로 처리 가능해 대규모 LLM 학습에 적합하다. 총 1억4900만개(149M)의 매개변수를 바탕으로 작동하며 자연어 이해 성능지표 평균 85.47점을 달성해 글로벌 최고수준(SOTA)급 성능을 확인했다. 1만6384개의 토큰 처리가 가능해 기존 모델들보다 최대 3배의 추론속도와 2배의 학습속도를 구현할 수 있다. 

A.X 4.0 VL 라이트는 대규모 멀티모달 한국어 데이터셋이 학습된 VLM이다. 한국어 관련 시각정보와 언어 이해뿐만 아니라 표·그래프 이해, 제조 도면 이해와 같은 기업용 애플리케이션(앱)에서 탁월한 성능을 제공한다. 70억개(7B) 매개변수의 A.X 4.0 라이트 모델을 기반으로 개발돼 사용자 시스템에 쉽게 적용 가능하고 중형 모델 수준의 성능까지 갖췄다.

한국어 시각 벤치마크에서 평균 79.4점을 기록하며, Qwen2.5-VL32B의 73.4점보다 훨씬 작은 크기에도 불구하고 더 우수한 성능을 보였다. 한국어 텍스트 벤치마크에서는 평균 60.2점을 기록, 경량모델임에도 국내 모델 중에서 최상위권에 포진했다. 동일한 한국어 데이터입력 시 Qwen2.5-VL32B 대비 약 41% 적은 텍스트 토큰을 사용해 사용 기업의 비용 저감에 기여할 수 있다.

김태윤 SKT 파운데이션 모델 담당은 "독자적인 기술력 확보가 소버린 인공지능(AI)의 핵심"이라며 "자체 역량을 높이고 컨소시엄 기업들과의 협업에도 박차를 가해 글로벌 최고 수준의 인공지능(AI) 경쟁력을 확보할 것"이라고 말했다.

김근정 기자 / 경제를 읽는 맑은 창 - 비즈니스플러스