"AI, 보고 들을 때 왜 강할까"…UNIST, 멀티모달 원리 규명

이미지나 소리, 텍스트 등 다양한 형태의 데이터를 함께 학습하는 멀티모달 인공지능(AI)이 왜 단일 데이터만 학습한 AI보다 더 정확하고 안정적인지 수학적으로 규명됐다.

울산과학기술원(UNIST) 인공지능대학원 윤성환 교수팀은 멀티모달 AI가 단일모달 AI보다 더 좋은 성능을 내는 원리를 ‘손실 지형(Loss Landscape)’의 평탄화 관점에서 규명했다고 밝혔다.

일반적으로 멀티모달 학습은 단일모달 학습보다 성능이 뛰어나다고 알려졌지만, 그동안 실제 딥러닝 학습 과정과 연결해 설명하는 이론적 근거는 부족했다.