한국어 특화·실용적 활용 겸비...이미지·텍스트 함께 이해
[포인트경제]
엔씨 AI (포인트경제)
엔씨소프트 인공지능(AI) 개발 부문 자회사인 엔씨 AI가 한국어 기반 멀티모달 AI 기술을 집약한 '바르코-비전 2.0' 4종을 을 오픈소스로 공개한다고 16일 밝혔다.
이번에 공개될 모델은 △14B △1.7B △1.7B OCR △비디오-임베딩 4종으로, 이 중 1.7B와 OCR모델은 차주 중 공개 예정이다.
바르코-비전 2.0은 여러 장의 이미지를 동시에 분석해 복잡한 문서나 표, 차트도 효과적으로 처리할 수 있다는 점이 특징이다. 한국어와 영어를 모두 이해하고 텍스트 생성 능력과 한국 문화에 대한 이해다를 크게 향상했다.
벤치마크 결과 / 엔씨 AI 제공 (포인트경제)
바르코-비전 2.0 14B 모델의 경우 글로벌 오픈소스 비전언어모델(VLM) 최고 성능으로 알려진 'InternVL3-14B'와 알리바바 '오비스(Ovis)2-16B', '큐웬(Qwen)2.5-VL' 7B를 능가하는 성과를 달성했다. 영문·한국어 이미지 이해, 광학문자인식(OCR) 벤치마크 등 다양한 벤치마크에서 능가하고 멀티모달 AI 중에서도 소버린 AI의 가능성을 확인했다는 설명이다.
바르코-비전-1.7B-OCR은 이미지 내 문자를 인식하는 OCR 작업에 특화된 모델로, 기존 OCR 모델들과 달리 이미지와 언어 정보를 동시에 학습한 방식을 채택해 한국어 OCR 능력이 더 높은 것으로 확인됐다.
멀티모달 임베딩 모델은 텍스트, 이미지, 비디오 간의 의미적 유사도를 고차원 임베딩 공간에서 정밀하게 계산한다. 임베딩이란 영상 내용을 숫자로 변환해서 저장하는 것으로, 사용자 질의에 따라 동영상 콘텐츠를 고차원 임베딩으로 변환하고 이를 기반으로 관련성 높은 이미지나 비디오를 검색할 수 있다.
특히 검색 벡터 개념을 도입, 기술적 차별점을 극대화 해 비디오 검색 벤치마크(MultiVENT2.0) 제로샷 시준 최고 성능 모델로 등극했다. 영상 검색 AI에 이미 잘 만들어진 검색 AI 능력을 복사해서 더해주는 방식을 적용했다. 여기에 기존 검색에 특화된 고성능 모델의 가중치 차이를 계산·도출한 벡터를 파인튜닝된 비디오-텍스트 모델에 덧셈 방식으로 적용해 추가 학습 없이도 검색 성능을 강화했다.
바르코-비전 2.0 / 엔씨 AI 제공 (포인트경제)
4종의 모델은 금융, 교육, 문화, 쇼핑, 제조 등 다양한 도메인에서 활용 가능하다. 복잡한 보고서, 계약서, 청구서 등의 자동 분석 및 디지털화, 표와 차트가 포함된 문서 처리나 주문서 자동 정리 및 요약 등 문서 처리, 자동화 분야에서 광범위하게 활용할 수 있다.
제품 이미지 기반 자동 설명 생성, 비디오 콘텐츠의 자연어 기반 검색 시스템, 크리에이티브 콘텐츠 생성 및 광고 문구 작성 등 콘텐츠 및 미디어 분야에서도 업무효율의 증대를 가져올 것으로 기대된다.
엔씨 AI는 이번 멀티모달 AI 모델 4종 공개를 통해 국내 AI 기술의 글로벌 경쟁력을 입증하는 동시에 오픈소스 생태계를 통한 기술 민주화에도 기여하고, 정부가 진하는 ‘소버린AI’ 강화에 힘을 더할 계획이다. 회사는 한국어 특화 성능과 실용적 활용성을 겸비한 이들 모델이 국내 다양한 산업 분야에서 AI 혁신을 가속화하는 촉매 역할을 할 것으로 예상했다.
이연수 엔씨 AI 대표는 "기술 고도화로 글로벌 트렌드가 텍스트만 처리하는 언어모델을 넘어 비전 모델을 함께 활용하는 비전언어모델로 전환되고 있다"면서, "이번 4종 모델 공개를 통해 미디어와 게임, 패션 등 버티컬 AI로 기존 국내 멀티모달 AI를 선도하는 엔씨 AI가 비전언어모델에서도 한국의 주권을 지킬 수 있는 가능성을 확인했다"고 말했다.
Copyright ⓒ 포인트경제 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
