목소리 속 미세한 감정까지 읽어내는 AI, 영상 인물 표정 실시간 변환 성공

말투에 숨겨진 비꼼이나 공감 같은 복잡한 감정을 포착해 영상 속 인물의 표정을 자동으로 변환하는 기술이 국내 연구진에 의해 세상에 나왔다.

평범한 톤의 음성과 감정이 담긴 음성 사이의 차이가 벡터로 계산되고, 이 수치 정보가 얼굴에서 어떤 표정 움직임으로 구현되는지를 시스템이 스스로 터득한다.

기존 방식들은 '기쁨', '슬픔' 등 명확한 라벨을 붙여 학습시켰으나, C-MET은 두 감정 간 변화 정도를 분석하는 접근법을 채택했다.