명작으로 꼽히는 영화의 대다수는 눈과 귀 모두를 만족시켰다는 평가를 받는다. '영화 관람 경험의 50% 사운드'라는 말처럼, 시각 콘텐츠에서 사운드의 중요성은 절대적이다. 하지만 인공지능(AI) 영상 생성 기술이 폭발적으로 발전하는 동안 AI 오디오 분야는 그 속도를 따라가지 못했다.
이에 SNS에서 공유되는 AI 영상을 보면, 크리에이터가 편집 과정에서 새롭게 추가한 오디오가 흘러나온다. 이러한 '오디오 공백'을 메우기 위해 나선 독일 베를린의 한 스타트업이 화제다. AI 오디오 스타트업 미렐로(Mirelo)가 그 주인공이다.
미렐로는 인덱스 벤처스와 앤드리슨 호로위츠가 공동 주도한 투자 라운드에서 4100만 달러(약 600억원) 규모의 투자금을 유치하며, AI 사운드 혁신의 불을 지폈다.
AI 연구자이자 음악가, 'AI 오디오 생성' 회사 세우다
미렐로의 탄생은 소리와 음악에 대한 애정과 기술적 불균형에 대한 좌절에서 시작됐다. 미렐로는 칼 요한 사이먼 가브리엘 CEO와 플로리안 벤젤 최고기술책임자(CTO)가 지난 2023년 설립한 AI 스타트업이다.
사이먼 가브리엘 CEO는 막스플랑크 지능형시스템연구소에서 6년 동안 연구원으로 활약했으며, 취리히 연방 공과대에서 박사후 연구원을 지냈다. 창업 직전 아마존웹서비스(AWS)에서 대규모 기초 모델 학습 개선 등 업무를 담당했다.
AI 연구자로 활동하기 전 사이먼 가브리엘 CEO는 프랑스 스트라스부르 국립음악원에서 피아노·작곡학 학위를 받은 바 있다. 플로리안 벤젤 CTO는 AWS, 구글 브레인, 베를린 공과대에서 AI 연구를 수행했다. 그는 베를린에서 밴드팀을 운영하면서 키보드와 현악기 연주를 지속해 왔다.
이들은 "언어와 이미지 모델 분야에서는 기술이 빠르게 발전하는 반면, 오디오는 뒤처지고 창작 과정에서 부차적인 요소로 취급되는 현실"이라고 밝혔다. 사이먼 가브리엘 CEO는 "비디오 규모가 커질수록 사운드는 병목 현상을 일으킨다"라며 "사운드는 비디오 경험의 절반 이상을 좌우하기 때문에, 시각 모델만큼 깊이 있고 야심찬 개발 도구가 필요했다"라고 말했다.
무음 영상을 '유성 영상'으로 바꾼다
이러한 신념을 바탕으로 미렐로를 설립한 이들은 누구나 고품질 사운드에 접근할 수 있으면서 심층적인 제어 기능을 제공하는 AI 기술을 개발했다. 미렐로의 핵심 기술은 영상과 완벽하게 동기화된 음향 효과와 음악을 단 한 번의 클릭으로 생성하는 AI 모델이다.
영상의 움직임을 해석해 사운드를 자동으로 생성하고 동기화한다는 것이 특징이다. 미렐로는 연구 끝에, 비디오를 해석해 음향 효과를 추가하는 AI 모델안 '미렐로 SFX v1.5'를 출시했다.
제작자들은 스톡 라이브러리를 뒤지거나 프레임별로 수작업 동기화를 하는 대신, 몇 초 만에 고품질의 완벽하게 동기화된 초안을 얻을 수 있다. 더불어 직관적인 편집기로 톤을 바꾸거나 긴장감을 더할 수 있다.
사이먼 가브리엘 CEO는 "갑자기 사람들이 '아, 사운드를 추가해야겠구나'라고 생각하기 시작했다"라며 "무성 영화와 유성 영화의 차이는 분명하다. 확실히 큰 차이를 만들어낸다"라고 강조했다.
600억원 유치한 미렐로, 내년 말까지 팀 규모 확대
미렐로는 기초 AI 모델부터 최종 제품까지 모든 과정을 자체 개발해 세계 최고 수준의 AI 모델 노하우를 보유하고 있다고 밝혔다. 이번 투자에는 유명 투자자 외에도 아서 멘쉬 미스트랄 CEO, 허깅페이스의 공동 창립자이자 최고과학책임자인 토마스 울프 등 AI 업계 거물들이 엔젤 투자자로 참여했다.
미렐로는 현재 10명인 팀 규모를 내년 말까지 최대 세 배로 늘리는 데 투자금을 활용할 계획이다. 또한, 크리에이터를 위한 작업 공간인 미렐로 스튜디오 구축에도 투자해 API 사용을 통한 수익 창출과 함께 궁극적으로 완전한 전문가용 플랫폼도 지원할 예정이다.
미렐로는 모델을 구축하는 과정에서 공개 및 구매한 사운드 라이브러리를 사용하고 아티스트와 수익 공유 파트너십을 체결했다. 이에 AI 생성 도구가 흔히 겪는 저작권 및 학습 데이터 관련 우려를 해소하고 있다는 점도 투자자들의 높은 평가를 받은 것으로 분석된다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
