LLM 챗봇 '대화 메모리' 3~4배 압축…서울공대 송현오 교수팀, AI 기술 'KVzip' 개발
서울대학교 공과대학은 컴퓨터공학부 송현오 교수 연구팀이 장문 대화 및 문서 요약 등 긴 맥락(context)이 전제되는 작업에서 거대언어모델(LLM) 기반 챗봇의 ‘대화 메모리’를 지능적으로 압축하는 AI 기술 ‘KVzip’을 개발했다고 밝혔다.
‘대화 메모리’는 챗봇이 사용자와의 대화 중 문장, 질문, 응답 등의 맥락을 임시로 저장해 현재 혹은 이후의 응답 생성에 활용하는 정보를 말한다.
이 기술은 문맥 복원에 필요한 정보만 남기는 방식으로 메모리 압축을 수행해 한 번의 압축만으로도 챗봇이 다양한 후속 질문에 대응할 수 있도록 설계됐다.
뉴스픽의 주요 문장 추출 기술을 사용하여 “AI포스트” 기사 내용을 3줄로 요약한 결과입니다. 일부 누락된 내용이 있어 전반적인 이해를 위해서는 본문 전체 읽기를 권장합니다.
