생성형 인공지능이 점점 더 사람처럼 말하지만, 그 말이 사실과 얼마나 가까운지는 별개의 문제라는 점이 다시 확인됐다. 주요 AI 모델을 대상으로 한 뉴스 출처 식별 실험에서 상당수 모델이 높은 오류율을 기록한 것으로 나타났다. 일부 모델은 질문 열 개 중 아홉 개 이상을 틀렸다.
콜롬비아 저널리즘 리뷰(CJR)가 공개한 분석에 따르면, 주요 AI 검색·챗봇 모델을 대상으로 ‘뉴스 환각(hallucination)률’을 측정한 결과 모델 간 정확도 차이가 뚜렷하게 드러났다. 실험은 특정 뉴스 기사 일부를 제시한 뒤, 해당 기사의 원문 매체와 기사 제목, URL을 맞히도록 요청하는 방식으로 진행됐다.
시험에 사용된 문단은 구글 검색에 그대로 입력할 경우 실제 출처가 상위 3개 결과 안에 노출되는 사례로만 구성됐다. 사람 기준에서는 비교적 확인이 쉬운 문제였던 셈이다. 그럼에도 불구하고 AI 모델들의 성적표는 기대에 미치지 못했다.
가장 높은 환각률을 기록한 모델은 일론 머스크가 이끄는 xAI의 그록-3 검색(Grok-3 Search)이었다. 전체 응답 가운데 94%가 부분적이거나 완전히 잘못된 답변으로 분류됐다. 사실상 대부분의 답변이 틀렸다는 의미다. 이전 버전인 그록-2 검색도 환각률 77%로 낮지 않은 수치를 보였다.
구글의 제미나이(Gemini) 역시 76%의 환각률을 기록했고, ChatGPT 검색 기능은 67%, 딥시크 검색(Deepseek Search)은 68%로 나타났다. AI 검색이 빠르게 확산되고 있지만, 뉴스 출처 확인이라는 기본적 작업조차 안정적으로 수행하지 못하는 사례가 적지 않았다는 평가다.
상대적으로 정확도가 높았던 모델은 퍼플렉시티(Perplexity)였다. 환각률은 37%로 조사 대상 가운데 가장 낮았다. 다만 이 역시 응답 세 건 중 한 건 이상이 오류라는 점에서 완전한 신뢰와는 거리가 있다. 유료 서비스인 퍼플렉시티 프로(Perplexity Pro)는 오히려 환각률이 45%로 더 높게 나타났다.
이번 분석에서 눈길을 끄는 대목은 유료 모델이 무료 모델보다 더 나은 성과를 보이지 못했다는 점이다. 비용을 지불한다고 해서 정확성이 자동으로 담보되지는 않는다는 의미다. 다수 모델은 답변이 불확실한 상황에서도 ‘모르겠다’는 선택지를 거의 사용하지 않았다. 근거가 부족한 상황에서도 단정적인 문장을 내놓는 경향이 반복적으로 확인됐다.
전문가들은 이런 현상이 생성형 AI의 학습 구조와 맞닿아 있다고 본다. 현재의 언어 모델은 정답을 맞히는 것보다 “그럴듯한 답변을 제시하는 것”에 더 높은 보상을 받도록 설계돼 있다. 결과적으로 불확실성을 드러내기보다 추측을 이어가는 방식이 강화된다.
기업과 기관 입장에서는 부담스러운 지점이다. AI 결과물을 검증 없이 활용할 경우 평판 훼손, 재무적 손실, 법적 분쟁으로 이어질 가능성을 배제하기 어렵다. 특히 AI 에이전트처럼 여러 단계의 판단과 실행이 연쇄적으로 연결되는 환경에서는 작은 오류가 누적돼 더 큰 문제를 만들 수 있다.
보고서는 대응 방향도 함께 제시했다. AI 활용 과정에 사람의 검토를 남겨두고, 결과를 교차 확인하는 절차를 갖추는 방식이 필요하다는 조언이다. 사내 데이터처럼 출처가 명확한 정보 기반 위에서 모델을 운용하는 전략도 언급됐다.
생성형 AI는 이미 검색, 보고서 작성, 의사결정 보조 영역까지 빠르게 스며들고 있다. 다만 기술의 확산 속도만큼 신뢰에 대한 검증은 따라가지 못하고 있다는 평가가 나온다. AI가 내놓는 문장이 얼마나 자연스러운지가 아니라, 그 문장이 어디서 왔고 무엇을 근거로 하는지 묻는 질문이 다시 중요해지고 있다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
