더 정교한 RAG로 AI 환각현상 줄인다...서울대 연구팀, EMNLP서 논문 발표

[사진=인텔리시스]

챗GPT와 같은 초거대언어모델(LLM)이 기업 내부 지식을 활용해 답변을 생성하는 과정에서 신뢰도를 크게 높일 수 있는 기술이 국내 연구진에 의해 개발됐다.

 

서울대 컴퓨터공학부 지능형데이터시스템 연구팀(지도교수 이상구)은 오는 12일 미국 플로리다에서 개최되는 국제학술대회 EMNLP 2024에서 관련 논문 2편을 발표할 예정이라고 11일 밝혔다.

 

LLM은 뛰어난 언어능력을 바탕으로 문서 요약, 보고서 작성, 대화형 정보 제공 등의 기능을 수행한다. 다만, 엉뚱한 사실을 그럴 듯하게 주장하는 환각 현상(hallucination)으로 인해 여전히 기업용 서비스에 본격 적용하는 데 어려움을 겪고 있다.

 

이를 해결하는 방법으로 검색증강생성(RAG) 기술이 주목받고 있다. RAG는 사용자의 질문에 관련된 회사 내의 주요 정보를 검색해 LLM에 입력, 이를 이용해서 질문의 답을 생성하게 하는 기술이다. 환각증세를 완화해주는 동시에 최신 정보나 기업의 고유정보를 기반으로 AI 서비스를 가능하게 하는 기술로 주목받는다.

 

RAG 솔루션의 신뢰성은 검색된 지식정보들을 얼마나 적절히 활용할 수 있는지에 따라 결정된다. 연구팀이 발표한 이번 논문은 이러한 상황판단을 정교하게 할 수 있는 방안을 제시했다.

 

구체적으로는 LLM이 답변을 생성하는 과정에서 제공된 지식을 사용할지, 또는 무시하고 LLM에 사전에 학습된 정보로 답을 할지, 아니면 둘 다 불확실해 답변을 거부할지 판단하는 능력을 LLM 내부의 엔트로피(어떤 시스템의 불안정성 정도를 나타내는 지표)를 측정해 향상시킬 수 있도록 한 것이다.

 

연구팀은 본 연구 성과를 통해 기존 방법론 대비 상황에 따른 대처 능력을 10~30%까지 향상시켰다고 설명했다. AI 서비스를 사용하는 고객이 체감하는 신뢰도는 더욱 큰 폭으로 개선될 것으로 예상된다.

 

연구를 주도한 서울대 지능형데이터시스템연구실의 김연아 연구원과 김형준 연구원은 "LLM과 같이 커다란 딥러닝 모델의 행동패턴을 심층적으로 이해하는 것은 매우 힘든 일인데, 그 한 단면을 파악해 실질적인 효과를 가져올 수 있는 연구결과를 만들게 돼 매우 기쁘다"고 밝혔다.

 

이상구 교수(인텔리전스 CTO)는 "LLM의 잠재적인 능력을 안전하게 잘 활용할 수 있는 제어(control) 기술은 LLM의 상용화를 위한 핵심 기술이 될 것"이라며 기술의 중요성을 강조했다.