UNIST, 학습 데이터에 ‘자막’ 달아 블랙박스 푼다

[이데일리 김현아 기자] 인공지능, 특히 딥러닝은 종종 ‘맞히긴 맞히는데 왜 맞혔는지 말은 못 하는’ 블랙박스로 불린다. 사진을 보여주면 새를 새라고 맞히지만, 도대체 사진의 어디를 보고 그렇게 판단했는지는 사람 입장에서 답답할 때가 많다.

그동안은 모델 내부를 들여다보는 방식의 설명 가능한 인공지능(XAI)이 주류였는데, 이번엔 출발점이 다르다. 모델이 아니라 모델을 키우는 ‘데이터’에 사람 말로 된 설명을 붙여, 판단 근거를 더 투명하게 만들자는 접근이다.

울산과학기술원(UNIST)인공지능대학원 김태환 교수팀은 대형언어모델(LLM)을 활용해 이미지 데이터를 자연어 설명문으로 변환한 뒤, 그중 실제로 학습에 도움이 되는 문장만 골라 쓰는 학습 방법론을 제안했다고 28일 밝혔다.

김태환 교수, 김채리 연구원(제1저자), 배재연 연구원(제1저자)

연구팀 설명에 따르면, 핵심은 “AI가 무엇을 보고 배웠는지”를 모델의 속이 아니라 데이터의 언어로 드러내는 데 있다.

방법은 간단하면서도 영리하다. 먼저 LLM이 이미지(또는 클래스)의 시각적 특징을 여러 문장으로 풀어쓴다. 설명문의 품질을 높이기 위해 인터넷 백과사전 같은 외부 지식도 참고하도록 했다. 다만 LLM이 만들어낸 문장이 많다고 해서 전부 쓸모 있는 것은 아니다. 모델이 실제로 정답을 맞히는 데 기여한 문장이 따로 있기 때문이다.

대형언어모델(LLM)을 활용한 데이터 설명문 생성 및 선별·학습 과정 개요

대형언어모델(LLM)이 생성한 이미지 설명문과 인공지능이 계산한 영향 점수(Influence Score) 예시

그래서 연구팀은 텍스트 영향력 점수 IFT(Influence scores For Texts)라는 지표를 설계했다. IFT는 두 축을 합쳐 계산한다.

첫째는 특정 문장을 학습 데이터에서 뺐을 때 모델 예측 오차가 얼마나 변하는지로 측정하는 ‘영향력 점수’다.

둘째는 그 문장이 이미지의 시각 정보와 의미적으로 얼마나 잘 맞는지를 나타내는 CLIP 점수다. “학습에 영향을 줬는가”와 “이미지와 말이 제대로 맞물리는가”를 동시에 본 셈이다.

예를 들어 조류 분류 모델에서 배경색 설명보다 “부리 형태”, “깃털 무늬”를 묘사한 문장이 높은 IFT를 받았다면, 모델이 배경이 아니라 부리와 깃털을 보고 새를 구분했을 가능성이 크다는 식으로 해석할 수 있다. 데이터에 달린 문장들이 일종의 ‘판단 근거 자막’ 역할을 하는 구조다.

연구팀은 선별된 ‘영향력 높은 설명문’이 실제 성능 개선으로 이어지는지도 별도 실험으로 확인했다. 영향력 높은 설명문을 학습에 함께 제공하고, 새로운 데이터셋에서 분류 성능을 비교하는 교차 모달 전이 실험을 진행한 결과 기존 방식보다 안정적으로 높은 성능을 보였다고 밝혔다. 제로샷(추가 학습 없이 분류) 벤치마크에서도 텍스트와 이미지 간 의미 정합도가 높아지며 성능 개선이 관찰됐다는 설명이다.

김태환 교수는 “AI가 스스로 학습 데이터를 설명하는 방식은 딥러닝의 복잡한 의사결정 과정을 본질적으로 드러내는 방법이 될 수 있다”며 “블랙박스 AI 시스템을 더 투명하게 이해하는 기반이 될 것”이라고 말했다.

이번 연구는 자연어처리 분야 국제학회 EMNLP 2025에 정식 논문으로 채택됐다. 논문명은 ‘Data Descriptions from Large Language Models with Influence Estimation’이다.