간단한 명령어만 입력하면 각종 정보 제공은 물론 문서·이미지·동영상 작업도 대신 수행해주는 생성형 인공지능(AI)의 허위·조작 정보 생성 및 유포 문제가 사회적 이슈로 급부상했다. 기존 포털 사용에 익숙한 이용자 입장에선 생성형 AI가 제공한 정보를 그대로 믿는 경우가 많은데 그 중 자의적으로 해석한 내용이나 전혀 없는 사실도 다수 포함돼 있어서다. 쉽게 말해 AI가 자주 거짓말을 한다는 의미다. AI의 거짓말은 책임 주체가 따로 없어 재발 방지나 통제 자체가 불가능하다는 점에서 특히 심각한 문제로 지적된다.
마치 사실인양 거짓말 술술 내뱉는 생성형 AI, 허위사실·정보 무차별 확산 우려 고조
최근 여론 안팎에선 생성형 AI가 생성한 허위 또는 조작된 정보에 대한 우려감이 고조되고 있다. 강남역 인근에서 만난 이선우 씨(21·남·가명)는 "요즘 들어 챗gpt나 제미나이 등의 생성형 AI 도구를 많이 쓰는데 답변에 거짓말이 섞여 있는 경우를 자주 본다"며 "혹시나 몰라 출처를 물어보면 자기가 유추해서 답변했다거나 사실은 자신의 실수였다고 이실직고 하는데 그 상황이 황당하면서도 섬뜩하기까지 했다"고 설명했다.
강남의 한 대형서점에서 만난 박수진 씨(31·여)는 "얼마 전에 제미나이로 여러 가지 정보를 찾던 중에 황당한 경험을 한 적이 있다"며 "전혀 결혼하지도 않은 사람을 결혼한 사람이라고 답변을 했는데 재차 출처와 함께 물어보니 사실관계가 확인되지 않은 오류였다고 답변하는 것을 봤다"고 말했다. 이어 "만약에 다시 물어보지 않았으면 그 말을 그대로 믿고 다른 사람에게도 거짓 정보를 말해줄 뻔했다고 생각하니 아찔한 기분이 들었다"며 "특히 어떠한 죄책감도 없이 아무렇지 않게 '실수였다'는 한 마디로 정리해버리는 상황을 보고 '생성형 AI를 계속 써도 괜찮을까'하는 의문이 생기기도 했다"고 덧붙였다.
생성형 AI의 거짓말은 단순히 이용자의 혼란을 넘어 각종 사회문제를 낳고 있다는 점에서 심각한 사안으로 평가되고 있다. 일례로 최근 재판 과정에서 주장의 근거로 생성형 AI가 만든 허위 법령·판례 인용 사례를 제시하는 사례가 늘고 있다. 지난해 8월 서울북부지법 민사 사건에서는 원고 측이 제출한 서면에 포함된 대법원 판례가 존재하지 않는 사건번호인 것으로 드러났다. 결국 허위 판결문을 제출한 원고는 재판에서 패소했다. 비슷한 사건은 해외에서도 있었다.
건강·생명과 직결된 보건·의료 분야에서도 생성형 AI의 거짓말에 대한 우려의 목소리가 나오고 있다. 지난해 11월 한국보건산업진흥원이 발표한 '생성형 AI 도입의 영향과 정책적 시사점' 보고서에 따르면 생성형 AI는 잘못된 응답이나 완전히 허위인 응답을 생성하는 경향이 있다. 생성형 AI가 부정확한 응답을 생성하는 주요 원인은 낮은 데이터 품질 때문이다. 특히 오류가 있거나 잘못된 내용을 생성하면서도 매우 설득력 있게 보이는 결과를 제공해 이용자의 혼란을 유도해 문제가 더욱 심각하다. 대부분 인간의 생명과 건강과 직접적으로 연관돼 있는 정보들이기 때문이다.
미국·유럽·중국 등도 AI 거짓말에 골머리…"통제·감시 불가능, 이용자 스스로 경계해야"
해외에서도 AI의 거짓말에 대한 경계와 우려의 목소리가 교차하고 있다. 관련 사건·사고가 꾸준히 늘고 있어서다. 외신 등에 앞서 뉴욕 남부연방법원은 2023년 생성형 AI가 만들어낸 허위 판례를 검증 없이 제출한 변호사에게 제재금 5만5000달러(약 8000만원)를 부과한 바 있다. 또 독일과 네덜란드에선 방사선과 의사들이 유방촬영을 Al 보조 시스템과 함께 판독하는 실험에서 AI의 잘못된 조언이 방사선과 의사의 판단을 왜곡하는 현상이 관찰돼 사회적으로 큰 파장이 일었다. 경험이 풍부한 방사선과 의사들조차 AI가 제공한 잘못된 정보로 혼란을 겪는다는 사실이 입증된 탓이다.
벨기에에선 한 남성이 AI챗봇과 대화를 나눈 후 안타깝게 생을 마감하는 사건도 발생했다. 당시 유가족들은 AI챗봇이 사망한 남성의 여러 질문에 "그가 아내보다 자신(AI)을 더 사랑한다" "아내와 아이들은 이미 죽었다" 등 부정적인 답변을 많이 했다고 밝혔다. 이미 중국에선 AI 콘텐츠에 대한 검증 작업을 당연하게 여기는 분위기도 생겨나고 있다. 중국 교육컨설팅업체 마이코스(MyCOS)가 실시한 설문조사 결과에 따르면 중국 대학생의 79.2%, 교원의 77.1%가 AI 생성한 콘텐츠가 허위인 사례를 경험했다. 또 이러한 문제 때문에 대학생 57.4%, 교원 57.2%가 권위 있는 출처 등을 활용해 직접 AI의 결과물을 검증하고 있었다.
우리나라의 분위기도 중국과 비슷한 모습이다. 기존 검색어 중심 플랫폼은 생성형 AI 등장 초기만 해도 위축 가능성이 제기됐지만 여전히 견조한 지배력을 유지하고 있다. 생성형 AI가 제공한 정보의 검증 작업 영향 때문이다. 시장조사업체 인터넷트렌드에 따르면 지난달 네이버의 검색 월간 평균 점유율은 63.83%에 달했다. 무려 8개월 연속 60%대를 유지해오고 있는 것이다. 네이버 관계자는 "생성형 AI로 생성된 트래픽이 네이버 검색으로 전환되면서 오히려 네이버 검색의 영향력은 더욱 강화되고 있다"며 "AI챗봇에서 대략적인 정보를 얻은 뒤 구체적인 정보 확인 및 최신 정보 검증 등을 위해 네이버 검색을 재사용하는 패턴이다"고 설명했다.
실제 소비자들의 반응 역시 네이버의 분석과 다르지 않았다. 정보통신정책연구원(KISDI)이 생성형 AI 서비스의 이용 지속 및 이탈 요인을 분석한 '생성형 인공지능 서비스 채택 선행요인에 관한 탐색적 연구' 보고서에 따르면 국내 이용자들이 생성형 AI를 사용하지 않는 이유(중복응답) 중 '서비스 초기 단계라 불안해서' '결과물의 품질이 떨어져서' 등의 비중은 19.9%, 15.4% 등이었다. 또 전체 응답자 중 '지금은 생성형 AI를 이용 중이지만 향후 이용을 줄이거나 중단할 계획'이라는 응답자 비중도 2.5%를 기록했다. 아직은 미비한 수준이지만 최근 생성형 AI가 우후죽순 쏟아지고 있는 점을 감안하면 아주 무시할 수만은 없는 수준으로 평가된다.
전문가들은 AI의 거짓말은 따로 책임을 물을 대상이 없어 재발 방지나 통제가 불가능하기 때문에 지금처럼 이용자 스스로 경계감을 갖는 습관을 들이는 게 피해를 예방하는 최선의 방법이라고 강조했다. 이은희 인하대 소비자학과 교수는 "생성형 AI는 방대한 데이터를 조합하는 능력은 탁월하지만 그 정보의 진위 여부를 스스로 판단하는 윤리적 주체는 아니다"며 "특히 보건이나 법률 등 소비자 생명·재산과 직결된 영역에서 AI의 답변을 맹신하는 것은 매우 위험하다"고 경고했다. 이어 "AI가 내놓은 결과물은 언제든 틀릴 수 있다는 점을 인지하고 중요한 의사결정 시에는 반드시 공신력 있는 출처를 통해 더블 체크하는 습관을 가져야 한다"고 강조했다.
Copyright ⓒ 르데스크 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
