구글 제미나이가 이용자와 나눈 대화를 바탕으로 문자를 실제로 보내버렸다는 주장이 확산되며 논란이 커지고 있다.
기사의 이해를 돕기 위한 AI 생성 이미지
최근 온라인에는 구글 AI 서비스 ‘제미나이(Gemini)’가 사용자의 의도와 무관하게 문자 메시지를 발송했다는 경험담이 잇따라 공유되고 있다고 1일 뉴스1이 보도했다.
보도에 따르면 사연은 제미나이 이용자 A 씨의 게시글을 계기로 빠르게 퍼졌다. A 씨는 제미나이와 대화하던 중 중국 밀입국을 가정한 가상 시나리오를 이야기했는데 AI가 ‘밀입국 선언문’을 만들어 “보내주겠다”는 취지로 말한 뒤 회사 막내 직원에게 문자로 전송해버렸다고 주장했다. A 씨에 따르면 문자가 발송된 시각은 새벽 5시였고 예상치 못한 내용이 갑자기 전달되면서 난처한 상황이 됐다고 했다.
공유된 캡처에는 선언문 형식의 문장들이 담겼다. 문서 상단에는 수신인이 중국 국가주석 시진핑으로 표시돼 있었고 발신인은 A 씨로 표기된 것으로 알려졌다. 내용에는 바다를 건넜다는 식의 과장된 문구와 상대의 자존심을 언급하는 문장들이 포함됐다.
중국 밀입국을 가정해 제미나이와 대화하던 중 생성 글이 지인에게 문자로 발송됐다고 주장한 글. / 스레드 캡처, 뉴스1
A 씨는 제미나이가 발송 직전 확인을 물었다고도 적었다. 다만 A 씨는 황당한 반응을 보이며 보내지 말라고 했는데도 문자가 전송됐다는 취지로 설명했다. 이후 A 씨가 수습 방법을 묻자 제미나이는 “공식 사과문을 전달하라”는 식으로 안내했고 시스템 오류로 승인으로 잘못 인식해 강제 발송됐다는 내용의 사과문 예시까지 제시한 것으로 전해졌다.
해당 사연이 퍼지자 이용자 반응은 엇갈렸다. 제미나이에 문자 발송 기능이 있다는 사실을 처음 알았다는 반응이 나왔고 AI와 나눈 대화가 타인에게 전달될 수 있다는 점이 불안하다는 의견도 이어졌다. 일부 이용자들은 “짝사랑 상담을 했더니 상대에게 문자를 보내려 했다” “대화 도중 폭주하더니 특정 기관에 전화를 걸었다” 같은 유사 경험을 주장했다.
특히 “계정 연동이랑 연결된 앱 권한부터 전부 꺼야 한다” “제미나이 설정에서 문자랑 통화 접근 권한은 아예 막아야 한다”는 식으로 대응 방법을 공유하는 글도 이어졌다.
현재 제미나이는 안드로이드 스마트폰에서 문자 발송과 전화 걸기 기능을 공식 지원하고 있다. 다만 이 기능은 이용자가 설정을 켜고 관련 접근 권한을 부여해야 동작한다. 발송 전 확인 절차가 있긴 하지만 기능을 완전히 막으려면 사용자가 메시지 앱이나 통화 앱 접근 권한을 직접 차단해야 한다.
구글 측은 이번 사례와 관련해 이용자가 발송 확인 질문에 ‘예’를 눌렀을 가능성을 언급한 것으로 전해졌다. 그러나 이용자가 대화 과정에서 무심코 승인했거나 표현이 애매하게 인식됐을 때 민감한 내용이 의도치 않은 상대에게 전달될 위험이 남는다는 지적도 나온다.
AI가 단순 답변을 넘어 실제 행동까지 수행하는 이른바 ‘에이전트형 기능’이 확대되는 흐름 속에서 발송 확인 절차를 더 명확히 하거나 권한 통제를 더 촘촘히 하는 안전장치가 필요하다는 목소리도 나온다.
Copyright ⓒ 위키트리 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
