클라이온이 서울특별시의 생성형 AI 챗봇 고도화 사업을 마무리하며 공공 AI 행정 시장에서 기술력을 입증했다. 생성형 AI의 고질적 문제로 꼽히는 ‘환각(Hallucination)’ 현상을 줄이고 응답 신뢰도를 높인 점이 핵심 성과로 제시됐다.
클라이온은 서울시 ‘생성형 AI 기반 챗봇 2.0 구축 사업’을 성공적으로 완료했다고 20일 밝혔다. 이번 사업은 서울시가 추진 중인 ‘서울 AI 비전’ 7대 핵심 전략 가운데 하나인 ‘행정서비스의 AI 전환’을 실행하기 위해 추진됐다.
클라이온은 사업 주관사로 참여해 지난해 9월부터 약 6개월간 GPU 인프라 구축, 서울시 행정 데이터 기반 모델 튜닝, RAG(Retrieval-Augmented Generation·검색증강생성) 기반 서비스 개발까지 전 과정을 수행했다.
이번 프로젝트의 핵심은 응답 품질 개선이다. 생성형 AI는 그럴듯하지만 사실과 다른 정보를 답변하는 ‘AI 환각’ 문제가 지속적으로 지적돼 왔다. 특히 공공 행정 서비스에서는 잘못된 정보 제공이 민원 혼선과 행정 신뢰 저하로 이어질 수 있어 정확도가 무엇보다 중요하다.
클라이온은 서울시 내부 행정용 챗봇과 시민 대상 서비스 ‘서울톡’ 연계 챗봇 품질 개선을 위해 자체 RAG 성능평가 솔루션 ‘REX(RAG Evaluation eXpert)’를 적용했다. 약 2만 건 데이터셋에서 핵심 질의응답(QA) 골든셋을 구축하고, 대형언어모델 기반 자동 평가(LLM Judge)와 전문가 휴먼 평가를 병행하는 3단계 검증 방식을 도입했다.
그 결과 챗봇 응답 정확도는 90점 이상 수준을 기록했다고 회사 측은 설명했다. 서울시 내부 폐쇄망 환경에서도 안정적인 검색·생성 품질을 확보하며 공무원 업무 지원과 시민 서비스 신뢰성을 끌어올렸다는 평가다.
클라이온이 이번 사업에서 강조한 또 다른 요소는 ‘AI 품질관리’다. 일반적인 생성형 AI 프로젝트가 모델 구축 자체에 집중하는 것과 달리, 운영 이후 성능을 지속적으로 점검하고 개선하는 체계를 구축하는 데 초점을 맞췄다.
REX는 답변 충실성(Faithfulness), 관련성(Relevancy) 등 12개 국제 표준 지표를 활용해 AI 응답 품질을 정량 평가한다. 동시에 공공·금융·의료 분야에서 중요하게 여겨지는 유해성(Harmfulness) 탐지와 편향성(Bias Detection) 평가 기능도 포함했다.
특히 단발성 성능 테스트가 아닌 상시 관리 체계를 지향한다는 점이 특징이다. 스케줄러 기반으로 검색 오류와 생성 오류 원인을 자동 분류하고 개선 방향을 제시해 AI 시스템 성능을 지속적으로 높일 수 있도록 설계됐다.
공공 부문에서 생성형 AI 도입은 빠르게 확대되고 있지만, 개인정보 보호와 응답 신뢰성 확보 문제가 여전히 과제로 남아 있다. 업계에서는 향후 공공 AI 사업 경쟁력이 단순 모델 도입 여부보다 ‘얼마나 신뢰 가능한 답변을 제공하느냐’로 이동할 가능성이 크다고 본다. 그런 점에서 서울시 사례는 공공 AI 운영 모델의 선행 사례가 될 수 있다는 분석도 나온다.
박윤지 대표는 “시민과 공무원 모두가 신뢰할 수 있는 고성능 AI 서비스를 구현하게 돼 의미가 크다”며 “REX와 같은 객관적 성능 검증 체계가 공공 AI 성공의 핵심 요소가 될 것”이라고 말했다.
한편 서울특별시는 행정 효율성과 시민 편의 향상을 목표로 생성형 AI 기반 공공 서비스 확대를 추진하고 있다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
