[M투데이 이정근기자] 엔비디아가 텍스트만으로 오디오 출력을 제어할 수 있는 생성형 AI 모델 ‘푸가토(Fugatto, Foundational Generative Audio Transformer Opus 1)’를 개발했다고 밝혔다.
엔비디아 생성형 AI 연구팀이 개발한 푸가토는 노래를 작곡하거나 음성을 수정할 수 있는 일부 AI 모델보다 뛰어난 정교함을 자랑한다.
푸가토는 텍스트와 오디오 파일의 조합을 사용해 프롬프트에 설명된 음악, 음성, 사운드의 모든 조합을 생성하거나 변형할 수 있다.
예를 들어, 텍스트 프롬프트에 따라 음악 스니펫(snippet)을 생성하고, 기존 노래에서 악기를 제거하거나 추가하고, 목소리의 억양이나 감정을 바꿀 수 있다. 심지어 이전에 들어본 적 없는 소리를 만들어낼 수도 있다.
멀티 플래티넘 프로듀서이자 작곡가인 이도 즈미슬라니(Ido Zmishlany)는 최첨단 스타트업을 위한 엔비디아 인셉션(NVIDIA Inception) 프로그램의 회원사인 원 테이크 오디오(One Take Audio)의 공동 설립자이다. 그는 “이 기술은 정말 대단하다. 사운드는 내 영감의 원천이다. 그것이 내가 음악을 만들게 하는 원동력이다. 스튜디오에서 즉석으로 완전히 새로운 사운드를 만들 수 있다는 생각은 정말 놀라운 일이다”고 말했다.
푸가토는 연구팀이 음성 모델링, 오디오 보코딩, 오디오 이해와 같은 분야에서 쌓아온 이전 작업을 기반으로 하는 기초 생성형 트랜스포머 모델이다.
정식 버전은 25억 개의 파라미터를 사용하며, 32개의 엔비디아 H100 텐서 코어(Tensor Core) GPU가 탑재된 엔비디아 DGX 시스템을 통해 훈련됐다.
푸가토 제작에는 인도, 브라질, 중국, 요르단, 한국 등 전 세계의 다양한 사람들이 함께했다. 이들의 협업으로 푸가토의 다중 억양과 다국어 기능이 더욱 강화됐다.
이 작업에서 가장 어려운 부분 중 하나는 훈련에 사용된 수백만 개의 오디오 샘플로 구성된 혼합 데이터 세트를 생성하는 것이었다. 연구팀은 데이터와 지침을 생성하기 위해 다각적인 전략을 사용했다. 이를 통해 모델이 수행할 수 있는 작업의 범위를 크게 확장하는 동시에, 더 정확한 성능을 달성하고 추가 데이터 없이도 새로운 작업을 수행할 수 있게 했다.
아울러 기존 데이터 세트를 면밀히 분석해 데이터 간의 새로운 관계를 밝혀냈다. 전체 작업은 1년 이상이 소요됐다.
Copyright ⓒ M투데이 무단 전재 및 재배포 금지
