UNIST "멀티모달 AI가 더 잘 배우는 이유 수학적으로 규명"

이미지나 영상, 음성, 텍스트 등 다양한 형태의 데이터를 함께 학습하는 '멀티모달(Multimodal) 인공지능(AI)'이 한 종류의 데이터만 학습한 AI보다 더 정확하고 안정적인 이유를 국내 연구진이 수학적으로 규명했다.

연구팀에 따르면 멀티모달 학습은 서로 다른 '모달리티'(입력하는 정보의 형태) 데이터를 함께 활용해 AI가 같은 대상이나 상황을 더 잘 이해하도록 하는 학습 방식이다.

기존 멀티모달 학습은 이미지 하나와 그에 정확히 대응하는 음성이나 문장 하나를 고정된 쌍으로 묶어 학습하는 반면, DML은 같은 정답 범주 안에서 서로 다른 모달리티 데이터를 무작위로 다시 짝짓는 방식이다.