미니맥스 H3, 영상편집 세계 1위 모델 가중치 전면공개

미니맥스 H3, 영상편집 세계 1위 모델 가중치 전면공개 / AI 생성 일러스트(삽화)

중국 AI 기업 미니맥스(MiniMax)가 새 영상 생성 모델 ‘H3’를 내놓으며 모델 가중치(weights) 전면 공개라는 승부수를 던졌다. 같은 날 경쟁사 바이트댄스(ByteDance)는 자사 최신 영상 모델 ‘시댄스(Seedance) 2.5’를 중국 소비자용 플랫폼에 배포하며 정반대로 폐쇄형 API 방식을 고수했다. 두 회사의 발표는 7월 31일(현지시각) 몇 시간 간격으로 이뤄졌다. 벤치마크 플랫폼 아티피셜 애널리시스(Artificial Analysis) 평가에서 H3는 현재 영상 편집 부문 세계 최고 성능 모델로 집계됐다. 미니맥스는 H3의 전체 가중치를 “며칠 안에” 공개하겠다고 밝혔다.

같은 날, 정반대 전략 — 오픈소스냐 폐쇄형이냐

테크타임스는 이번 발표를 오픈AI의 영상 생성 모델 ‘소라’가 4월 서비스를 중단한 이후 영상AI 분야에서 가장 중대한 사건으로 평가했다. 바이트댄스는 시댄스 2.5의 모든 가중치를 자사 API 안에 가둬두는 반면, 미니맥스는 개발자가 자신의 장비에서 직접 모델을 내려받아 구동할 수 있도록 가중치를 넘긴다. 미니맥스나 바이트댄스의 서버를 거치지 않고도 영상을 만들 수 있다는 뜻이다.

바이트댄스는 시댄스 2.5를 중국 내 소비자용 플랫폼 지몽(Jimeng) AI와 더우바오(Doubao)의 프로(Pro) 등급에 배포했다고 공식 발표했다. API 접근은 볼케이노 엔진의 아크(Ark) 플랫폼을 통해 곧 열릴 예정이다. 이번 배포는 단계적으로 진행된 롤아웃의 일부다. 지난 7월 16일(현지시각) 바이트플러스(BytePlus) 플랫폼에서 기업용 API가 먼저 열렸고, 다음 단계로 바이트댄스의 해외용 창작 도구 드리미나(Dreamina)에도 적용될 예정이다. 반면 미니맥스는 자사 소비자용 플랫폼 하이루오(Hailuo) AI와 개발자용 API를 통해 H3를 동시에 공개했다. 미니맥스는 “적용 가능한 규제”에 따라 며칠 내로 모델 가중치를 순차 공개하겠다고 밝혔다.

H3의 벤치마크 성적과 라이선스 조건 / AI 생성 이미지

H3의 벤치마크 성적과 라이선스 조건

미니맥스는 그간 하이루오 영상 모델들의 가중치를 비공개로 유지해왔지만 이번에는 방향을 바꿨다. 회사는 블로그를 통해 “폐쇄형 모델이 영상 생성 분야를 오랫동안 지배해왔고, 대형언어모델 분야보다 반복 개선 속도가 느리고 생태계도 덜 개방적이었다”고 밝혔다. 오픈소스 커뮤니티를 지원하고 다양한 AI 하드웨어에서 사용자가 직접 모델을 커스터마이징할 수 있도록 하겠다는 취지다.

아티피셜 애널리시스 평가에서 H3는 영상 편집 부문 1위, 오디오가 포함된 텍스트-영상 변환 부문에서 2위를 기록했다. 다만 오디오 없는 순수 텍스트-영상 변환에서는 구글의 제미나이 옴니 플래시(Gemini Omni Flash)에, 이미지-영상 변환에서는 바이트댄스의 시댄스 2.0과 제미나이 옴니 플래시에 각각 뒤진 것으로 나타났다. 미니맥스는 H3의 가중치를 ‘미니맥스 커뮤니티 라이선스’ 하에 배포할 예정이다. 아티피셜 애널리시스에 따르면 이 라이선스는 비상업적 이용을 무료로 허용하고, 연매출 2000만 달러 미만 기업의 상업적 이용도 출처 표기 조건으로 허용한다.

시댄스 2.5의 반격 카드 — 30초 무편집 클립

바이트댄스가 내세운 핵심 무기는 30초 분량의 끊김 없는 단일 영상 생성이다. 시댄스 2.5는 한 번의 추론 과정에서 30초짜리 연속 클립을 만들어내며 짧은 구간을 이어붙이는 방식을 쓰지 않는다. 앞선 모델인 시댄스 2.0은 15초짜리 클립만 자체 생성할 수 있었고, 30초 영상은 짧은 구간들을 경계선에서 이어붙여야 했다. 이 과정에서 이어붙인 지점마다 화질 불일치 문제가 발생했다고 바이트댄스는 설명했다.

이 30초 한계를 넘어선 배경에는 바이트댄스 더우바오팀이 만든 ‘스파스 디퓨전 트랜스포머(Sparse Diffusion Transformer)’가 있다. 일반적인 영상 디퓨전 모델은 슬라이딩 어텐션 윈도우 방식으로 프레임을 처리한다. 새 프레임을 생성할 때 가장 최근 프레임만 참조하기 때문에 영상이 길어질수록 인물 얼굴이나 조명이 조금씩 달라지는 현상이 나타난다. 반면 시댄스 2.5의 희소 어텐션 메커니즘은 첫 프레임부터 마지막 프레임까지 전체 시간대를 샘플링해 30초 전체에서 사물의 정체성과 조명, 카메라 상태를 일관되게 유지한다.

오디오 처리 방식도 다르다. 시댄스 2.5는 오디오를 영상과 같은 잠재 공간(latent space)에서 함께 생성한다. 이 덕분에 대화, 배경음, 음악이 30초 전체 구간에서 별도 보정 없이도 자연스럽게 맞물린다. 소비자용 배포판은 참조 자료로 이미지 최대 30장, 영상 10개, 오디오 클립 10개까지 지원해 총 50개의 참조 자산을 조합할 수 있다. 브랜드 담당자나 상업 제작자가 캐릭터 외형과 제품, 장면 스타일을 동시에 고정하는 데 유용하다고 바이트댄스는 밝혔다. 다만 바이트댄스가 주장한 네이티브 4K 렌더링과 10비트 색심도는 아직 독립적인 제3자 벤치마크로 확인되지 않았다. 지몽 앱에서 포착된 베타 모드는 단일 생성 시퀀스를 180초까지 늘려주지만 바이트댄스는 이를 시댄스 2.5의 정식 기능으로 공식 발표하지 않았다.

H3의 아키텍처와 개발자·산업 파급 효과

미니맥스는 같은 문제를 구조적으로 다른 방식으로 풀었다. H3는 ‘H3-옴니 트랜스포머’라는 단일 통합 프레임워크를 기반으로 한다. 텍스트-이미지, 텍스트-영상, 이미지-영상, 오디오 처리를 별도의 전문 모델을 조합하는 대신 하나의 사전학습 과정에 통합한 것이 특징이다. 이해와 생성 작업을 같은 프레임워크 안에서 분리하고 샘플별로 이질적인 연산량을 균형 있게 배분하는 방식으로 종단간 학습 처리량을 약 30% 끌어올렸다고 미니맥스는 밝혔다.

추론 비용 측면의 강점은 다른 설계 선택에서 나온다. 미니맥스는 모델의 토크나이저를 변분 오토인코더 방식의 ‘H3-VAE’로 새로 설계해 압축률을 높였다. 그 결과 2K 해상도로 H3를 구동하는 비용이 주요 경쟁 모델의 3분의 1 미만이라고 회사는 발표했다. 프리뷰 분석 사이트 키에이아이(kie.ai)에 따르면 얼리 액세스 테스터들은 15초짜리 2K 클립 하나를 약 1달러 수준에서 생성했다고 보고했다.

다만 출력 길이에서는 손해를 본다. H3는 네이티브로 최대 15초까지만 생성하며 이는 시댄스 2.5의 30초 한도의 절반에 그친다. 이후 추가 패스로 클립을 확장할 수는 있다. 해상도는 1440p(2K)까지이며 미니맥스는 이를 시댄스 2.5가 주장하지만 아직 확인되지 않은 4K와 대비되는 지점으로 내세운다. 참조 자료 슬롯도 이미지 최대 9장, 영상 3개, 오디오 3개로 총 12개에 그쳐 시댄스 2.5의 50개보다 크게 적다. 미니맥스는 참조 슬롯의 양보다 ‘옴니 레퍼런스’라 부르는 참조 조건화의 질적 우위를 내세우고 있다.

가중치 공개 시점은 아직 확정되지 않았다. 미니맥스는 “적용 가능한 규제”에 따라 며칠 내 순차 공개하겠다는 입장이어서 실제 배포 일정과 범위는 규제 상황에 따라 달라질 수 있다. 개발자와 제작사들은 H3의 로컬 구동 가능성과 저렴한 추론 비용에, 상업 제작사들은 시댄스 2.5의 30초 무편집 클립과 방대한 참조 자산 조합 능력에 각각 주목하는 모양새다.