기존 대화 기억해 0.2초 내 응답…"친구같은 AI 구현 기반 마련"
(대전=연합뉴스) 양영석 기자 = 한국과학기술원(KAIST)은 인공지능반도체대학원 유회준 교수 연구팀이 사용자의 특성에 맞춰 스스로 진화하는 개인 맞춤형 거대 언어 모델(LLM) 가속기 반도체 '소울메이트(SoulMate)'를 개발했다고 17일 밝혔다.
연구팀이 개발한 '소울메이트'의 핵심은 외부 서버(클라우드)를 거치지 않고 기기 자체에서 데이터를 처리하는 온디바이스 인공지능(AI) 기술이다.
이전에 작성한 대화 내용을 바탕으로 맞춤형 답변을 생성하는 검색 증강생성(RAG) 기술과 사용자의 피드백을 즉각 반영해 학습하는 로우 랭크 미세조정(LoRA) 기술을 반도체 내부에 직접 구현했다.
이를 통해 0.2초(216.4ms)의 속도로 응답하며 동시에 학습까지 수행하는 실시간 개인화 AI 시스템을 완성했다.
정보의 중요도에 따라 처리 방식을 최적화한 덕분에 스마트폰 소비 전력의 500분의 1 수준인 9.8밀리와트(mW)의 초저전력으로 작동되기 때문에 모바일 기기에서 배터리 걱정 없이 구동할 수 있다.
연구팀은 향후 스마트폰, 웨어러블 기기 등 차세대 플랫폼과 결합하면 진정한 개인형 AI 서비스 시대를 열 수 있을 것으로 기대했다.
유회준 교수는 "이번 연구는 사람이 서로 우정을 쌓아가는 것처럼 AI가 사용자의 진정한 동반자로 발전할 수 있는 기술적 기반을 마련한 것"이라며 "미래 인공지능은 단순한 도구를 넘어 언제 어디서나 나를 가장 잘 아는 친구 같은 존재가 될 것"이라고 말했다.
youngs@yna.co.kr
Copyright ⓒ 연합뉴스 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
