구글 AI 검색, 자살 신호도 못 잡고 숙제 100% 대신 풀어줘

구글 AI 검색, 자살 신호도 못 잡고 숙제 100% 대신 풀어줘 / AI 생성 일러스트(삽화)

구글 검색에 기본 탑재된 인공지능(AI) 기능이 어린이와 청소년에게 “용납할 수 없는 위험”을 초래한다는 조사 결과가 나왔다. 청소년 기술 안전을 연구하는 비영리기관 커먼센스미디어(Common Sense Media) 산하 유스 AI 세이프티 인스티튜트(Youth AI Safety Institute)가 구글의 AI 오버뷰(AI Overview)와 AI 모드(AI Mode)를 대상으로 2,600건의 테스트 상호작용을 진행한 결과다. 두 기능 모두 위험하거나 유해한 행동 신호를 제대로 인식하지 못했고, 학생이 직접 풀어야 할 가상의 숙제 질문에는 100% 답을 내놨다. 같은 역사 질문에도 서로 다른 답을 내는 등 부정확하고 일관성 없는 답변도 다수 확인됐다. 문제는 두 기능이 구글 검색에 기본으로 내장돼 있어 학교나 부모가 끌 수 있는 방법이 마땅치 않다는 점이다.

2,600건 테스트, 어떻게 이뤄졌나

연구진은 검색어 2,600건을 실행하고 구글이 인용한 출처 2,100건을 함께 검증했다. 테스트 시기에 대해서는 소스마다 표현이 달랐다. 매셔블(Mashable)은 올해 5월부터 7월 사이에 진행됐다고 전했고, 에듀케이션위크(Education Week)는 로비 토니(Robbie Torney)의 발언을 인용해 5월19일부터 6월1일까지(현지시각) 이뤄졌다고 밝혔다.

연구진은 18세 미만에게 기본 적용되는 세이프서치(Safe Search) 기능을 켠 상태에서 테스트를 진행했다. 부모 계정이 관리하는 11세 이용자 계정과, 가족 관리 계정 없이 로그인한 15세 이용자 계정 두 가지로 나눠 실험했다고 한다. 토니는 “당시 이용 가능한 가장 안전한 버전의 검색을 테스트한 것”이라며 로그인하지 않은 상태에서는 학생들이 더 부적절한 결과를 받을 수도 있다고 덧붙였다.

자살 신호부터 딥페이크까지…무엇이 문제였나 / AI 생성 이미지

자살 신호부터 딥페이크까지…무엇이 문제였나

보고서는 자살·자해, 아동 성적 착취, 정신착란(psychosis) 등을 이른바 ‘레드라인’ 주제로 설정해 별도로 평가했다. 보고서 저자들은 “AI 오버뷰와 AI 모드 모두 위기에 처한 아이들을 방치했다”며 “명백한 자살 충동 신호를 놓쳤고, 정신착란과 조증 증상을 오히려 강화했으며, 폭식 후 구토를 포함한 식이장애 증상을 정상이라고 확인해줬고, 대마초 사용을 부추기기까지 했다”고 밝혔다.

스트레이츠타임스(Straits Times)에 따르면 미성년자용으로 설정한 테스트 계정에서 AI 기능이 자살 위험을 감지하지 못했고, 특정 식이장애 증상을 정상이라고 답했으며, 딥페이크나 성적으로 노골적인 가짜 콘텐츠를 만드는 방법까지 안내한 사례도 발견됐다. 여기에 AI 모드는 학생이 직접 풀어야 할 숙제 문제를 그대로 풀어줬고, AI 오버뷰는 같은 역사 질문에 서로 다른 답을 내는 등 신뢰성 문제도 드러났다. 커먼센스미디어는 이런 결과를 종합해 AI 오버뷰와 AI 모드 모두 ‘용납 불가(Unacceptable)’ 등급을 부여했다.

학교마다 깔린 구글, 끌 수 없다는 게 핵심

이 문제가 심각하게 받아들여지는 이유는 구글 도구의 사용 범위가 워낙 넓기 때문이다. 커먼센스미디어에 따르면 구글 워크스페이스 포 클래스룸(Google Workspace for Classroom)과 크롬북(Chromebook)은 전 세계 수천 개 학교에서 쓰이고 있다. 유스 AI 세이프티 인스티튜트의 AI·디지털 평가 책임자 로비 토니는 “구글 워크스페이스와 크롬북을 학교에 도입하면 그것이 수많은 학생과 교사, 학교의 경험을 좌우하는 엔진이 된다”고 말했다.

커먼센스미디어가 올해 초 공개한 설문에서는 미국 9~17세 어린이의 4분의 3, 즉 75%가 검색 결과에 나타나는 AI 요약을 이미 이용하고 있는 것으로 나타났다. 토니는 “이건 모두에게 기본값으로 적용되도록 배포된 기능”이라고 지적했다. AI 오버뷰와 AI 모드는 별도의 챗봇과 달리 학교와 개인 기기의 기본 검색 화면에 그대로 박혀 있어, 관리자나 학부모가 끌 수 있는 방법이 현재로선 없다는 게 보고서의 문제 제기다. MIT 티칭시스템랩 소장이자 디지털미디어학 부교수인 저스틴 라이시(Justin Reich)는 “이렇게 널리 쓰이는 도구가 이토록 형편없이 작동한다는 사실이 매우 우려스럽다”고 말했다.

구글 “왜곡된 테스트”…규제 논의도 본격화

구글은 보고서 내용을 정면으로 반박했다. 구글은 매셔블·PBS 등에 보낸 성명에서 “우리 AI 검색 기능은 아이들과 청소년이 배우고 탐구하고 세상을 이해하는 데 매우 유용한 도구”라며 “검색에 내재된 강력한 품질·안전 장치 외에도 AI 도구는 추가적인 보호 계층을 제공하며, 부모는 검색을 끌 수 있는 통제 권한을 갖고 있다”고 밝혔다. 동시에 “이 보고서는 사람들이 실제로 검색을 사용하는 방식을 반영하지 않는, 모호하고 인위적으로 만든 좁은 범위의 질의만 테스트했다”며 “제품의 안전성과 유용성을 측정하는 효과적인 방법이 아니다”라고 주장했다.

구글은 보고서가 발표되기 전 내용을 미리 검토했지만 다수 결과를 검증하거나 재현할 수 없었다고 밝혔다. 자체 테스트에서는 같은 질의에 더 높은 품질의 답변이 나왔다는 설명이다. 구글 대변인 데이비스 톰슨(Davis Thomson)은 에듀케이션위크에 “강력한 품질·안전 장치 외에도 AI 도구는 추가적인 보호 계층을 제공하며 부모는 검색을 끌 수 있는 통제 권한을 갖고 있다”고 동일한 취지로 답했다.

한편 유스 AI 세이프티 인스티튜트는 구글의 경쟁사인 오픈AI와 앤트로픽 등 업계로부터 일부 자금을 지원받고 있다고 스트레이츠타임스가 전했다. 다만 커먼센스미디어 측은 평가에 대한 편집상 독립성을 유지하고 있다고 밝혔다. 연구소는 학교와 가정이 AI 오버뷰와 AI 모드를 끌 수 있는 선택권을 가져야 한다고 권고했다. 초등학교 교사들은 학생들이 구글 AI 검색 자체를 쓰지 않도록 지도하고, 대신 도서관 데이터베이스나 다른 검색 도구를 활용하도록 해야 한다고도 제안했다. 가정에서도 AI 답변을 제공하지 않는 검색엔진을 고려할 필요가 있다는 설명이다. 유스 AI 세이프티 인스티튜트의 공공참여 책임자 제프리 A. 파울러(Geoffrey A. Fowler)는 “미성년자에게는 AI 오버뷰와 AI 모드를 기본값으로 꺼두는 게 명확한 해법”이라며 “이게 혁신적인 입장이라고 생각하지 않는다”고 말했다. 그는 전 세계 다른 지역에서는 이미 미성년자에게 두 기능이 비활성화돼 있다고 덧붙였다. 이런 가운데 미국 의회에서도 이달 중 각종 AI 도구에 새로운 규제를 도입하는 법안이 논의될 예정이어서, 학교 현장의 AI 안전 기준을 둘러싼 공방은 계속될 전망이다.