챗GPT 제작사, AI 텍스트 잡아내는 탐지기 내놨지만…신뢰도 낮아

출시 전 실시한 자체 평가 결과 26%만이 ‘AI 작성 가능성 높음’으로 판정

(사진제공: 셔터스톡)

인공지능(AI) 챗봇 챗GPT를 개발한 오픈AI가 AI 작성한 텍스트 탐지 도구를 출시했으나 정확도가 높지 않다는 평가를 받고 있다.

미국 캘리포니아주 샌프란시스코에 본사를 둔 오픈AI는 지난달 31일 홈페이지를 통해 ‘AI 작성 텍스트 탐지’ 앱 베타버전을 공개하면서 출시 전 실시한 자체 평가 결과를 공개했다. 평가에 쓰인 텍스트는 모두 영문이었으며, 챗GPT 뿐만 아니라 다른 챗봇이 생성한 것도 포함됐다. 

평가 결과 이 도구는 AI가 작성한 텍스트 중 26%만이 “AI 작성 가능성 높음”으로 판정했다. 텍스트 4개 중 1개만 걸러낼 수 있는 수준인 것이다. 실제로 사람이 쓴 글인데도 AI가 썼다고 잘못 판정한 ‘위양성(false positive)’의 비율도 9%에 달했다.

영문 기준 1천 자 미만의 짧은 텍스트에서 특히 신뢰도가 낮았다. 타만 텍스트의 길이가 증가할수록 신뢰성이 높아지는 경향이 보였다. 

오픈AI가 이 도구를 내놓은 것은 작년 11월 말 공개한 챗GPT가 사기, 스팸발송, 표절 등 악용될 우려가 있다는 지적에 따른 것이다. 사람이 쓴 것처럼 보이는 글을 몇 초 혹은 몇십 초 만에 만들어내면서 전 세계적으로 관심을 얻고 있다.

특히 교육계를 중심으로 학생들이 과제물 작성을 챗GPT로 하는 등 악용하는 사례가 많아지고 있다. 최근 미국 명문 MBA 시험을 챗GPT가 치른 결과 합격 점수를 받기도 했다. 

오픈AI는 이번에 공개한 ‘AI 작성 텍스트 감지기’에 대해 “완전히 신뢰할 만한 것은 아니다, 현재 진행 중인 작업이다”라고 설명했다. 이어 “AI가 쓴 텍스트를 모두 탐지해 내는 것은 불가능하지만, 교육자나 고용주 등이 텍스트가 어디서 비롯됐는지를 가려내는 데 보조 수단으로 쓰일 수 있을 것”이라 덧붙였다.

[e-mail]