대규모언어모델, 수천억 매개변수 학습
검색 증강 생성, 팩트체크 로직 구현
통계청이 일상언어로 통계정보를 검색하고 어려운 통계용어와 개념을 풀어서 설명하는 초거대 인공지능(AI) 기반 통계 챗봇 서비스를 선보인다.
통계청은 이번에 제공되는 초거대 AI 통계 챗봇 서비스는 대규모언어모델(LLM)을 갖춰 언어 이해 능력을 제고했다고 19일 밝혔다.
초거대 AI를 구성하는 핵심요소는 LLM이다. LLM는 수천억개 매개변수를 학습해 자연어 이해능력과 학습데이터로부터 생성한 정보를 쉬운 단어로 풀어서 설명한다.
초거대 AI 기반 통계 챗봇은 이 언어모델을 활용하므로 이용자가 통계에 대한 배경지식이 풍부하지 않더라도 경제·사회 분야 등 우리 주변의 여러 현상에 대한 궁금점을 쉽게 파악할 수 있는 채널을 제공한다.
그동안 국가통계포털(KOSIS)에 챗봇 서비스가 제공되고 있으나, 정확한 통계용어를 사용하지 않는 경우 제대로 된 답변을 받기 어려웠다. 하지만 초거대 AI가 국가통계와 접목되면 자연어 이해 능력이 향상해 일상언어로 질문하는 통계도 맥락과 의도를 파악, 이용자가 궁금한 사항을 대답할 수 있게 된다.
초거대 AI가 정확한 답을 찾지 못할 경우, 방대한 학습 내용 중에 비슷한 부분만 짜깁기해 잘못된 정보를 주는 이른바 환각 현상에 대한 우려도 있다. 이러한 환각 현상을 예방하기 위해 검색 증강 생성 방식이 적용된 팩트체크 로직을 구현한다.
검색 증강 생성(RAG)은 언어를 이해하고 표현하는 능력은 민간의 검증된 초거대 AI 언어모델을 활용하되, 실제로 정보를 검색하고 답변을 생성하는 부분은 전문적인 통계문서를 고차원적인 벡터로 저장한 통계학습데이터베이스에서만 찾아오는 방식이다.
나아가 통계청은 올 하반기 대국민 서비스를 목표로 주요 통계에 대해 통계추천과 전문적 질의응답이 가능한 초거대 AI 기반 통계 챗봇 서비스를 구축한다. 이번 사업은 본격적으로 초거대 AI 모델을 통계행정 각 영역에 도입하기 전 시행하는 시범사업이다. 검증된 최신기술의 반영과 신속한 추진을 위해 민간 클라우드 AI 디지털서비스를 활용해 구축할 계획이다.
이형일 통계청장은 “구슬은 꿰어야 보배가 되는 것처럼, 통계가 국민의 일상생활에서 빛을 발하기 위해 앞으로는 초거대 AI가 통계라는 구슬을 꿰게 될 것”이라며 “앞으로도 국민의 눈높이에 맞춘 통계서비스를 제공하기 위해 노력해 나가겠다”고 말했다.
©(주) 데일리안 무단전재 및 재배포 금지
- 영화관에선 공연이, 공연장에선 영화가…공간 제약 허무는 문화예술계
- 이준석 '노인 지하철 무임승차 폐지'에…조정훈 "혐오정치 전형"
- 민주당, 뭘 믿고 한동훈 개혁 조롱하나?
- 원하는 곳 어디든 기재부…‘현장방문 플랫폼’ 이렇게 운영한다 [줌인 기재부①]
- "담배 피우는데 뒤통수 먼저 때렸다"…60대 경비원 기절할 때까지 폭행 10대 변명
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
