생성형 AI가 의료 분야로 빠르게 확산하는 가운데 가장 큰 과제로 꼽히는 'AI 환각(Hallucination)' 문제를 줄인 의약정보 AI 솔루션이 외부 성능평가를 통과했다. 의료 분야는 잘못된 정보가 환자 안전으로 직결되는 만큼, AI의 정확성과 신뢰성을 객관적으로 검증하려는 움직임도 함께 확대되는 분위기다.
의약품 데이터 및 AI 헬스케어 전문기업 원스글로벌(대표 박경하)은 AI 임상의사결정지원 솔루션 'Dr.DI(닥터디아이)'가 가천대학교 연구진이 수행한 기술 성능평가에서 국제표준 체계를 기반으로 한 검증을 완료했다고 15일 밝혔다.
이번 평가는 AI 시스템 품질 특성 국제표준인 ISO/IEC 25059를 상위 프레임워크로 활용해 진행됐다. 생성형 AI에서 문제로 지적되는 허위 정보 생성 가능성을 줄이기 위해 Dr.DI가 적용한 RAG(Retrieval-Augmented Generation·검색증강생성) 구조를 중심으로 검색과 생성 성능을 각각 검증한 점이 특징이다.
평가는 검색 정확도와 답변 충실도, 답변 관련성, 견고성 등 네 가지 항목을 중심으로 이뤄졌다. 의약품 허가정보를 효능·효과, 용법·용량, 주의사항, 상호작용, 부작용 등 세부 항목으로 구분해 분석했으며, 모든 평가는 신뢰수준 95% 기준을 충족하는 표본을 활용했다.
검증 결과 사용자 질문에 맞는 근거 문서를 찾아내는 검색 정확도는 0.92를 기록했다. 주요 의약정보 항목에서도 모두 0.89 이상의 성능을 나타냈다.
답변 품질도 높은 수준으로 평가됐다. 생성된 답변이 질문 의도와 얼마나 부합하는지를 평가한 답변 관련성은 서로 다른 3개의 대형언어모델(LLM)이 교차 평가한 결과 5점 만점 기준 4.87~4.97점을 기록했다. 답변이 실제 근거 문서를 얼마나 충실하게 반영하는지를 측정한 의미적 충실도 역시 모든 평가 항목에서 안정적인 수준을 유지했다.
의약정보 서비스에서 특히 중요한 안전성 평가에서도 긍정적인 결과가 확인됐다. 의약품과 관계없는 질문에 적절하게 대응한 안전 응답률은 98.2%를 기록했고, 잘못된 정보를 전제로 한 질문에 대해서도 94.5%의 안전 응답률을 보였다. 단순히 답변을 생성하는 대신 질문의 오류를 바로잡거나 적절한 안내를 제공하는 방식으로 대응한 것으로 평가됐다.
실제 의료 현장에서 발생할 수 있는 입력 오류 상황도 함께 검증했다. 약품명을 정확히 입력하지 못하거나 오탈자가 포함된 질문을 가정한 테스트에서도 답변 충실도 저하 폭은 0.01 미만으로 나타나 정상 입력과 거의 동일한 성능을 유지했다.
평가 방식에도 차별점을 뒀다. 이번 검증은 사람의 개입 없이 전 과정을 자동화한 '휴먼 프리(Human-Free)' 평가 파이프라인으로 수행됐다. 반복적인 품질 검증과 대규모 데이터 평가를 효율적으로 수행할 수 있는 기반을 확보했다는 점도 의미 있는 부분으로 평가된다.
박경하 원스글로벌 대표는 "원스글로벌이 수년간 축적한 의약품 빅데이터와 자체 의료용어 온톨로지 'Dtree(디트리)'를 활용해 Dr.DI의 정확도를 높여왔다"며 "외부 전문기관의 객관적인 검증을 통해 신뢰성을 확인한 만큼 의료진과 환자가 안심하고 활용할 수 있는 근거 중심 의약정보 서비스로 지속적으로 발전시켜 나가겠다"고 말했다.
Dr.DI는 권역책임의료기관 AI 기반 진료지원시스템 사업에 선정돼 의료기관 공급이 추진되고 있다. 원스글로벌은 앞으로 Dr.DI를 차세대 의약정보 플랫폼 '커넥트DI(ConnectDI)'와 연계하고, 임상진료지침과 근거중심 데이터를 지속적으로 확보해 국내 의료 환경에 적합한 '한국형 Open Evidence' 모델 구축을 추진할 계획이다.
다만 생성형 AI 기반 의료 솔루션은 기술 성능뿐 아니라 실제 임상 환경에서의 활용성과 의료진 수용성, 지속적인 데이터 업데이트 체계도 함께 검증돼야 한다는 지적이 이어진다. 이번 성능평가는 AI 신뢰성을 객관적으로 확인했다는 데 의미가 있지만, 의료 현장에서 장기간 운영되며 축적될 실제 활용 사례가 향후 경쟁력을 가늠할 중요한 기준이 될 전망이다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
