[엠투데이 임헌섭기자] AI 컴퓨팅 기술 선두 기업 엔비디아(NVIDIA)가 게임과 3D 애플리케이션 개발자를 위한 핵심 기술 ‘오디오투페이스(Audio2Face)’를 오픈소스로 공개했다. 이번 발표는 AI 기반 아바타 제작 및 디지털 휴먼 구현 영역에서 기술적 장벽을 크게 낮추는 계기가 될 전망이다.
오디오투페이스는 음성 입력을 기반으로 캐릭터의 얼굴 애니메이션과 립싱크를 자동 생성하는 기술이다. 음소, 억양 등 음향적 특징을 분석해 정교한 데이터 스트림을 생성하고 이를 캐릭터의 표정에 매핑함으로써 사실적인 디지털 캐릭터 제작을 가능하게 한다. 해당 기술은 사전 제작된 콘텐츠뿐 아니라 실시간 스트리밍 환경에서도 적용할 수 있어 인터랙티브 아바타, 게임 캐릭터, 고객 서비스 챗봇 등 다양한 분야에서 활용도가 높다.
엔비디아는 이번 공개를 통해 오디오투페이스 SDK, 오토데스크 마야 플러그인, 언리얼 엔진 5 플러그인, 훈련 프레임워크 등 핵심 도구를 개발자 커뮤니티에 무료 제공한다.
오디오투페이스 SDK는 로컬 및 클라우드 환경에서 얼굴 애니메이션을 제작·실행할 수 있도록 지원하며, 마야 및 언리얼 엔진 플러그인은 주요 3D 제작 툴과의 즉각적인 연동을 제공한다.
훈련 프레임워크와 샘플 데이터셋은 사용자가 모델을 직접 학습시키고 맞춤화할 수 있도록 열려 있다. 또한 오디오투이모션(Audio2Emotion) 모델을 함께 공개해 단순 립싱크를 넘어 감정 상태를 추론하고 표현할 수 있도록 확장성을 강화했다.
이미 다수의 글로벌 게임사와 소프트웨어 기업들이 오디오투페이스를 자사 프로젝트에 도입하고 있다.
리얼루전(Reallusion)은 자사 아이클론(iClone) 및 캐릭터 크리에이터(Character Creator)에 해당 기술을 통합해 고품질 캐릭터 애니메이션 제작 환경을 구현했다.
서비오스(Survios)는 ‘에이리언: 로그 인커전 이볼브드 에디션’ 개발에 적용, 애니메이션 제작 파이프라인을 단축했다.
더 팜 51(The Farm 51)은 차기작 ‘체르노빌라이트 2’에 도입해 기존 대비 사실감과 몰입도를 크게 높였다고 평가했다.
엔비디아는 오디오투페이스 공개와 더불어 RTX 뉴럴 텍스처 압축, RTX 글로벌 일루미네이션 SDK 등 RTX 키트 업데이트와 vGPU 기반 게임 개발 환경 최적화 사례도 발표했다. 액티비전은 vGPU 도입을 통해 서버 공간 82%, 전력 사용량 72%를 절감하는 동시에, 3,000명 이상의 개발자가 하루 25만 건 이상의 작업을 수행할 수 있는 대규모 테스트 플랫폼을 구축한 바 있다.
엔비디아는 이번 오픈소스 공개를 통해 전 세계 개발자, 연구자, 학생들이 최신 AI 기반 애니메이션 기술을 자유롭게 학습·활용할 수 있도록 지원한다는 전략이다. 이를 통해 개발 커뮤니티 내 협업과 기능 확장이 가속화되며, 디지털 캐릭터 제작 방식에 새로운 패러다임을 제시할 것으로 기대된다.
Copyright ⓒ M투데이 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
