검수도 안했나…글로벌 컨설팅 회사, AI 엉터리 보고서

[이데일리 김윤지 기자] 글로벌 4대 컨설팅 회사인 PwC의 일부 보고서에서 가짜 각주와 잘못 인용된 주장, 확인할 수 없는 정보가 다수 발견됐다고 29일(현지시간) 파이낸셜타임스(FT)가 보도했다.

AI 콘텐츠 탐지 전문업체 GPT제로가 조사하고 FT가 검증한 결과에 따르면 PwC 중동법인이 최근 2년 동안 작성한 보고서 중 부실한 각주 등 AI 환각이 포함된 보고서 4건이 확인됐다.

모하메드 칸데 PwC 글로벌 회장(사진=AFP)

GPT제로 연구진은 이들 보고서에 달린 인용 자료 상당수가 본문의 주장을 제대로 뒷받침하지 못했다고 지적했다. 각주가 연결된 웹페이지에 관련 내용이 없거나, 일부 링크가 존재하지 않는 페이지로 이어지는 사례도 발견됐다.

사우디아라비아 수도 리야드의 대기질을 다룬 한 학술 논문은 AI가 완전히 지어낸 것으로 추정됐다. 해당 논문은 인용된 학술지에서 확인되지 않았고, 저자로 기재된 연구자들의 연구 목록에서도 흔적을 찾을 수 없었다.

GPT제로의 폴 에소 연구원은 PwC 중동법인의 보고서 4건에서 나타난 일관성 없는 출처 표기 방식이 AI 생성 연구물의 전형적인 특징이라고 설명했다.

한 보고서에서는 전체 교통사고의 90%가 사람의 실수로 발생한다는 주장이 세 차례 등장했다. 첫 번째 문장에는 각주가 하나 달렸고, 두 번째에는 각주가 없었으며, 세 번째에는 서로 다른 출처를 인용한 각주 두 개가 달렸다.

에소 연구원은 “이 주장 자체가 거짓은 아니다”면서도 “사람이라면 두 페이지 안에서 같은 사실을 세 번 언급하면서 각각 다른 세 개의 출처를 인용하지는 않을 것”이라고 말했다.

PwC가 자체적으로 수행한 기존 연구를 제대로 인용하지 못한 사례도 확인됐다. 한 보고서는 중동 지역 최고경영자(CEO)를 대상으로 한 PwC 설문조사에서 응답자의 70%가 생성형 AI가 사업에 중대한 영향을 미칠 것으로 전망했다고 설명했다. 그러나 각주에 연결된 언론 보도에는 해당 설문조사 내용이 전혀 포함돼 있지 않았다.

AI 활용 흔적이 직접 노출된 각주도 있었다. 에너지 산업을 겨냥한 사이버보안 위협 관련 언론 보도의 인터넷 주소(URL)에 챗GPT 사용을 알리는 추적 문구가 포함돼 있었다.

FT는 이 같은 부실한 AI 활용이 PwC를 비롯한 대형 컨설팅업체에 상당한 부담이 될 수 있다고 지적했다. 이들은 기업에 AI를 책임감 있게 도입하고 오류를 방지하기 위한 정책과 관리체계를 구축하는 방법을 조언해왔기 때문이다.

GPT제로의 앞선 조사 이후 PwC의 경쟁사인 EY와 KPMG도 AI 환각이 포함된 것으로 의심되는 보고서를 철회한 바 있다.

PwC 중동법인은 FT에 “우리는 발간한 연구의 정확성을 중요하게 여기며, 확인된 보고서에서 일부 인용 자료를 수정하고 있다”면서 “책임 있는 AI 활용 원칙에 따라 모든 임직원이 준수해야 하는 연구 및 콘텐츠 제작 품질관리 절차를 운영하고 있다”고 밝혔다. 다만 오류가 어떻게 보고서에 포함됐는지에 대해서는 답하지 않았다고 FT는 전했다.