UNIST, 대형언어모델 기반 추천 시스템 진단하는 도구 개발
(울산=연합뉴스) 김용태 기자 = 대형언어모델(LLM) 기반 상품 추천 인공지능(AI)이 자신이 과거에 생성한 추천 결과를 다시 학습하면서 특정 상품에 대한 쏠림이 나타나거나 잘못된 추천을 반복할 수 있다는 연구 결과가 나왔다.
8일 울산과학기술원(UNIST)은 인공지능대학원 이연창 교수팀이 LLM 기반 AI 추천 편향과 오류가 발생하고 누적되는 과정을 추적하는 진단 도구 '에코트레이스'(EchoTrace)를 개발했다고 밝혔다.
LLM은 직접 추천 목록을 만드는 것뿐만 아니라, 추천 AI 모델이 더 정확한 추천을 할 수 있도록 사용자의 취향이 반영된 가상 프로필을 생성하는 역할을 한다. 또 모델의 부족한 학습 자료를 생성하기도 한다.
연구팀은 에코트레이스를 이용해 이 3가지 방식에서 LLM이 만든 정보와 최종 추천 목록을 점검하고, 추천 결과가 다시 학습에 반영될 때 편향과 오류가 어떻게 이어지는지 분석했다.
분석 결과 LLM이 추천 목록을 직접 만드는 AI 모델에서는 애초에 추천 대상에 없는 항목을 추천하는 경우가 발생했다. 영화 추천의 4.07%, 도서 추천의 7.40%, 가게 추천의 13.14%가 이에 해당했다.
영화 추천은 '무비렌즈'(MovieLens-1M), 도서 추천은 '아마존 북스'(Amazon-Books), 가게 추천은 '옐프'(Yelp) 자료를 활용했다.
LLM이 사용자 프로필을 생성하는 데도 오류가 확인됐다. 영화 이용 자료로 LLM이 추천한 사용자의 직업은 93.16%가 원래 정보와 일치하지 않았으며, 자료의 직업 분류에 없는 '영화 평론가'를 생성하기도 했다.
LLM이 모델의 학습 자료를 생성하는 경우에도 특정 장르나 업종에 치우쳤다.
최종 추천에서는 실제 이용 기록보다 인기 항목을 더 많이 추천하는 경향이 보였다.
최종 추천 결과를 다시 학습시키는 과정을 5번 반복했을 때도 초기의 편향과 오류는 사라지지 않았다. 일부 시스템에서는 인기 항목으로 쏠림이 더 켜졌다.
특히 LLM이 직접 영화를 추천하는 모델의 경우, 사용자 100명 중 86∼92명꼴로 다음 영화를 골라줄 때 자신이 앞서 추천했던 작품을 가장 중요하게 참고하는 것으로 나타났다.
AI의 추천 결과가 사용자의 선택 기록으로 다시 학습되고, 그 기록을 근거로 다음 추천을 만드는 '피드백 루프'가 반복되면서 처음 생긴 편향과 오류가 이후 추천에도 영향을 주는 것이다.
이연창 교수는 "LLM 기반 추천 시스템의 편향과 오류가 반복적인 추천 과정에서 어떻게 누적되고 증폭되는지를 LLM의 역할에 따라 체계적으로 진단할 기반을 마련했다"며 "향후 더욱 안전하고 신뢰할 수 있는 추천 시스템을 설계하고 평가하는 데 활용할 수 있을 것"이라고 말했다.
연구 결과는 데이터마이닝 분야 국제 학술대회 'ACM CIKM(Conference on Information and Knowledge Management) 2026'에 채택됐다. 학회는 7일부터 11일까지 이탈리아 로마에서 열린다.
연구는 과학기술정보통신부와 정보통신기획평가원, 미국 국립과학재단(NSF)의 지원을 받았다.
yongtae@yna.co.kr
Copyright ⓒ 연합뉴스 무단 전재 및 재배포 금지
