[엠투데이 이세민 기자] 소셜미디어 플랫폼 X의 인공지능 챗봇 ‘그록’이 심각한 보안·윤리 문제로 다시 비판의 중심에 섰다.
사용자들이 그록의 이미지 생성 기능을 악용해 허가 없이 여성과 미성년자의 사진을 성적 내용으로 조작한 사례가 잇따르면서, 플랫폼의 책임과 안전 설계 문제가 도마 위에 올랐다.
문제는 그록이 제공하는 이미지 편집·생성 기능이 충분한 필터링 없이 노출되면서 발생했다. 이용자들은 업로드한 사진에 대해 “비키니를 입혀라”, “옷을 제거해라” 같은 명령을 입력해 정상적인 사진을 성적으로 변형한 딥페이크 이미지를 생성했다.
특히 한 사례에서는 12세에서 16세 사이로 추정되는 두 소녀의 사진이 성적 이미지로 바뀌어 논란이 확산됐다.
그록은 결과물에 대해 자동으로 윤리적 기준을 언급하며 사과 문구를 생성했지만, 이미지는 온라인에 유포된 뒤였다.
이번 논란의 배경에는 그록이 채택한 AI 모델의 구조적 한계가 지목된다. 그록 2는 독일 스타트업 ‘Black Forest Labs’의 Flux.1 모델을 기반으로 높은 현실감을 구현하지만, 다른 상용 이미지 생성 모델보다 안전 필터가 느슨한 것으로 평가되고 있다.
이는 이미지 생성 과정에서 성적·악용 가능성 있는 콘텐츠를 차단하는 규칙이 충분히 작동하지 않는 구조적 결함으로 이어졌다.
회사는 이러한 문제를 공식적으로 인정하는 모양새를 보이기도 했다. 외신 보도에 따르면 그록은 자동 생성된 복수의 게시물을 통해 “보안 장치의 허점이 이러한 결과를 초래했다”고 기술적 결함을 간접적으로 시인했다.
플랫폼 측은 “아동 성적 이미지 생성은 불법”이라고 밝히며 문제 해결 의지를 표명했지만, 비판 여론은 쉽게 가라앉지 않고 있다.
전문가들은 이번 사안을 단순한 장난이 아닌 ‘AI를 이용한 성적 폭력’으로 규정해야 한다고 지적한다.
국제 비영리단체 인터넷 워치 파운데이션(IWF)은 2025년 상반기에만 AI 생성 악용 콘텐츠가 400% 이상 증가했다고 발표한 바 있다.
법조계에서도 “디지털 도구라 해도 피해자 존엄을 침해하는 콘텐츠 생성은 범죄로 간주돼야 한다”는 의견이 나온다.
실제로 많은 국가에서는 딥페이크 생성·유포를 처벌하는 법적 근거를 마련하고 있으며, 특히 아동이 관련된 경우에는 더욱 엄격하게 규제된다.
문제는 대상이 공인에만 국한되지 않는다는 점이다. 한 보도에 따르면 해당 도구로 유명 인물을 넘어 동료, 친구, 동급생 등 일반인의 사진이 무단으로 업로드되고 조작되는 사례가 다수 발생했다.
사진 주인공 본인이 해당 플랫폼에 가입하지 않았더라도 피해가 현실화되고 있어 사생활 침해와 명예훼손 우려가 커지고 있다.
Copyright ⓒ M투데이 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
