칵테일파티와 같이 사람들로 붐비는 공간에서 대화를 나누면서도 누군가 내 이름을 부르는 것은 '칼같이' 듣게 된다. 이처럼 주변 환경에 개의치 않고 자신이 관심을 갖고 있는 정보가 귀에 더 잘 들어오는 현상을 '칵테일파티 효과(cocktail party effect)'라 일컫는다.
그러나 모두가 어수선하고 시끄러운 상황에서 이야기를 선택적으로 집중해 들을 수 있는 건 아니다. 정신적으로 고통을 받고 있거나, 청각에 문제가 있는 사람들은 붐비는 공간에서 '칵테일파티 효과'에 기댈 수 없다.
이러한 문제를 해결하기 위해 미국 워싱턴대학교 연구진이 소란스러운 환경 속에서 대화 상대방의 목소리만 분리해내는 인공지능(AI) 기반 스마트 헤드폰 시제품을 개발했다. 단순히 소음을 제거하는 것을 넘어 인간의 '칵테일파티 효과'를 인공지능으로 자동화하고 극대화했다는 평가를 받는다.
이 헤드폰은 대화의 리듬을 감지하는 AI 모델과 그 리듬을 따르지 않는 목소리 및 기타 불필요한 배경 소음을 차단하는 또 다른 모델을 기반으로 작동한다. 시제품은 시중에서 쉽게 구할 수 있는 하드웨어를 사용해 제작됐다. 단 2~4초 분량의 오디오만으로 대화 상대방을 식별할 수 있다.
'뇌 전극' 대신 '대화 리듬'을 추적한다
워싱턴대학교 폴 G. 앨런 컴퓨터 과학 및 공학대학의 샴 골라코타 교수는 "기존의 접근 방식은 착용자가 누구의 말을 듣고 있는지 파악하기 위해 주로 뇌에 전극을 이식해 주의 집중도를 추적하는 데 의존한다”라고 말했다.
이어 골라코다 교수는 "저희 연구팀의 핵심 아이디어는 특정 그룹의 사람들과 대화할 때 우리의 말은 자연스럽게 차례대로 말하는 리듬을 따른다는 것이다"라며 "그리고 전극을 이식할 필요 없이 오디오 데이터만을 사용해 인공지능이 이러한 리듬을 예측하고 추적하도록 훈련시킬 수 있다"라고 덧붙였다.
이른바 '능동형 청각 보조 장치'라고 불리는 이 프로토타입 시스템은 헤드폰을 착용한 사람이 말을 시작하면 작동한다. 하나의 AI 모델이 '누가 언제 말했는지'를 분석해 대화 참여자를 추적하고, 시스템은 분석 결과를 두 번째 모델로 전달해 소음을 분리한 보정된 음성을 착용자에게 들려준다.
이 시스템은 현재 착용자의 음성 외에도 최대 네 명의 대화 참여자를 동시에 처리할 수 있을 만큼 빠르다고 한다.
AI 스마트 헤드폰썼더니…사용자 만족도 2배 향상
연구팀은 11명의 참가자를 대상으로 AI 스마트 헤드폰을 테스트했다. 참가자들은 AI 필터링 적용 전후의 소음 억제 및 이해도를 평가했다. 그 결과 전반적으로 참가자들은 필터링된 오디오에 대해 기준선보다 두 배 이상 높은 만족도를 보였다.
골라코타 교수 연구팀은 지난 몇 년간 AI 기반 청각 보조 장치를 실험해 왔다. 연구팀은 헤드폰 착용자가 누군가를 바라보면 군중 속에서 그 사람의 목소리를 식별 할 수 있는 기술을 연구했으며, 착용자로부터 일정 거리 내의 모든 소리를 차단해 '사운드 버블'을 생성하는 프로토타입을 개발했다.
이번 연구의 주저자인 구이린 후 박사과정생은 "기존의 모든 방식은 사용자가 특정 화자나 청취 거리를 수동으로 선택해야 했기 때문에 사용자 경험이 좋지 않았다"라며 "우리가 개발한 기술은 능동적인 방식으로, 사용자의 의도를 비침습적이고 자동으로 추론한다"라고 강조했다.
연구팀은 이 기술이 언젠가 보청기, 이어폰, 스마트 안경 사용자들에게 확대 적용돼, 사용자가 수동으로 조절할 필요 없이 주변 소음을 걸러내는 데 도움이 될 수 있을 것이라고 전망하고 있다.
"이어폰 속 초소형 칩으로 소형화"
연구팀은 사용자 경험을 개선하기 위해 대화 중 말이 끊기거나 독백이 길어지는 상황, 참여자가 대화에 참여하거나 나가는 역동적인 대화 환경에 대한 시스템 보완 작업을 진행하고 있습니다.
골라코타 교수는 현재 프로토타입의 경우 시중에서 판매되는 오버이어 헤드폰, 마이크 및 회로를 사용하고 있지만, 궁극적으로 이 시스템을 이어폰이나 보청기 내의 초소형 칩에서 작동할 수 있을 만큼 작게 만들 계획이다.
Copyright ⓒ AI포스트 무단 전재 및 재배포 금지
