AI가 만든 가짜 인용문에 호주 법원 '발칵'

[이데일리 김유성 기자] 호주 빅토리아주 대법원에서 인공지능(AI)이 만들어낸 허위 판례와 가짜 인용문이 제출되는 사건이 발생했다.

챗GPT 생성 이미지

15일(현지시간) 호주 일간 ‘더 오스트레일리안’과 AP통신 보도에 따르면, 리시 나트와니 변호사는 살인 혐의로 기소된 10대 피고인의 무죄를 주장하는 서면 의견서에 존재하지 않는 판례와 조작된 인용문을 포함시켰다.

이 사실은 재판부 보좌관들이 판례를 확인하는 과정에서 드러났다. 변호인단도 “존재하지 않는 인용이며 허구의 발언”이라고 시인했다.

문제가 된 의견서에는 주의회 연설문에서 가공한 인용문과 대법원 판결문을 사칭한 허위 자료가 포함됐다. 변호인단은 일부 인용문만 검증했고, 나머지도 사실일 것이라고 가정해 오류가 발생했다고 해명했다.

재판을 맡은 제임스 엘리엇 판사는 “AI를 사용할 경우 그 결과물은 독립적으로 철저히 검증돼야 한다”며 지난해 법원이 제정한 ‘변호사 AI 활용 가이드라인’을 상기시켰다. 어떤 생성형 AI를 썼는지는 재판기록에 명시되지 않았다.

외신들은 지난 2023년 미국 뉴욕 연방법원에서 발생한 유사 사례를 언급했다. 당시 변호사 2명과 로펌이 항공사 손해배상 소송에서 ‘챗GPT’가 만들어낸 허위 판례를 제출해 5000달러 벌금을 받았다. 같은 해 도널드 트럼프 전 대통령의 변호인이었던 마이클 코언 측 변호인단도 구글 기반 AI 도구의 ‘환각’ 기능으로 생성된 가짜 판례를 인용해 논란이 됐다.

일부에서는 이번 일을 단순한 해프닝으로 봐서는 안 된다고 지적한다. 전 세계 사법 제도에 ‘AI 검증 의무’를 명문화해야 한다는 의견이다. AI가 ‘사실’을 생성하는 것이 아니라 ‘그럴듯한 문장’을 만들어내는 기술이라는 점을 유념해야 한다는 경고다.