영상AI 스타트업 트웰브랩스, AWS와 손잡고 FM 훈련[AWS리인벤트24]

[라스베이거스(미국)=이데일리 임유경 기자] 국내 인공지능(AI) 스타트업 트웰브랩스는 3일(현지시간) 미국 네바다주 라스베이거스에서 열린 아마존웹서비스(AWS) 연례 최대 기술 콘퍼런스 ‘AWS 리인벤트 2024’에 참가해 AWS와 기반 모델(파운데이션 모델·FM) 훈련 능력 향상을 위해 협력한다고 밝혔다.

트웰브랩스는 멀티모달 AI가 영상 콘텐츠에 대해서 인간 수준의 이해를 할 수 있는 기술을 개발한 스타트업이다. 트웰브랩스의 마렝고(Marengo)와 페가수스(Pegasus) 파운데이션 모델은 100개 이상의 언어로 텍스트 요약과 오디오 번역을 제공한다. 또 음성에서 말한 내용을 영상에 표시된 내용과 맞추는 등 단어, 이미지, 소리가 서로 어떻게 관련되는지 분석할 수 있다. 콘텐츠 제작자는 또한 자연어 검색을 통해 쇼나 게임 내의 정확한 순간, 각도 또는 이벤트에 접근할 수 있다.

이소영 트웰브랩스 공동창업자 겸 마켓총괄이 AWS 리인벤트 세션에서 발표를 하고 있다.(사진=AWS)

트웰브랩스는 AWS와 3년간 전략적 협력 계약(SCA)의 일환으로, 아마존 세이지메이커 하이퍼팟(Amazon SageMaker HyperPod)을 사용해 모델 훈련 능력을 향상시킬 예정이다. 트웰브랩스는 아마존 세이지메이커 하이퍼팟을 사용해 영상, 이미지, 음성, 텍스트와 같은 다양한 데이터 형식을 동시에 이해할 수 있는 기반 모델을 훈련시킨다. 훈련 작업은 병렬로 작동하는 여러 AWS 컴퓨팅 인스턴스에 분산돼, 트웰브랩스는 중단 없이 몇 주 또는 몇 달 동안 기반 모델을 훈련시킬 수 있다. 아마존 세이지메이커 하이퍼팟은 AI 모델을 빠르게 가동하고, 성능을 미세 조정하며, 원활하게 운영을 확장하는 데 필요한 모든 것을 제공한다.

이재성 트웰브랩스 공동 창업자이자 최고경영자(CEO)는 “AWS는 우리에게 멀티모달 AI의 과제를 해결하고 영상을 더 접근 가능하게 만들 수 있는 컴퓨팅 파워와 지원을 제공했으며, 우리가 혁신을 지속하고 전 세계로 확장해 나갈 앞으로의 큰 협력을 기대한다”고 말했다. 또한, “트웰브랩스는 모델 훈련을 가속화하고, 전 세계 수천 명의 개발자들에게 안전하게 솔루션을 제공하며, 컴퓨팅 비용을 통제할 수 있다. 이 모든 것이 생성형 AI를 사용한 영상 이해와 제작의 경계를 넓혀가는 과정에서 이루어진다”고 덧붙였다.

존 존스는 AWS 스타트업 부문 부사장 겸 글로벌 책임자는 “트웰브랩스는 클라우드 기술을 통해 방대한 양의 멀티미디어 데이터를 접근 가능하고 유용한 콘텐츠로 전환해 다양한 산업 분야의 개선을 이끌고 있다”며 “영상은 지금까지 대부분의 시청자들이 이용할 수 없었던 귀중한 정보로, AWS는 트웰브랩스가 관련성 높은 콘텐츠를 더 잘 이해하고 신속하게 제작하는 데 필요한 도구를 구축할 수 있도록 지원했다”고 말했다.

한편 외부 개발자들은 AWS 마켓플레이스에서 사용 가능한 트웰브랩스 기반 모델을 통해 의미론적 영상 검색 및 텍스트 생성을 위한 애플리케이션을 만들 수 있다. 대량의 영상에 의존하는 미디어, 엔터테인먼트, 게임, 스포츠 및 기타 산업에서 활용 가능하다. 예컨대 스포츠 리그는 이 기술을 사용해 방대한 경기 영상 라이브러리를 카탈로그화하는 과정을 간소화해 실시간 방송을 위한 특정 프레임을 더 쉽게 검색할 수 있으며, 코치들은 이러한 기반 모델을 사용해 수영 선수의 스트로크 기술이나 단거리 선수의 출발 블록 자세를 분석하고, 조정해 나은 성과를 도출할 수 있다는 게 트웰브랩스의 설명이다.

이재성 CEO는 “세계 데이터의 약 80%가 영상 형태이지만, 대부분은 검색이 불가능하다”면서 “이제 우리는 이 문제를 해결하고, 인간이 주변 세계를 보고, 듣고, 이해하는 방식과 유사하게 맥락에 맞는 영상을 통해 생생한 경험을 제공하고 있다”고 강조했다.