연합뉴스에 따르면 인공지능 기반 채팅 서비스들이 아동 성착취 콘텐츠의 새로운 온상으로 전락하고 있어 심각한 우려를 낳고 있다.
14일 기준으로 특정 AI 채팅 플랫폼 A를 살펴본 결과, 젖병을 물고 있는 영아부터 교복 차림의 여학생, 왜소한 체형의 소녀 등 명백히 미성년자를 떠올리게 하는 캐릭터들이 대거 등록된 상태다. 일부는 홍보 이미지에 성행위 장면을 노골적으로 담기도 했다.
캐릭터 설정에는 '초등학생' '12세 소녀' 같은 구체적 연령이 기재되어 있으며, 속옷만 걸친 어린 소녀 그림이 홍보에 활용되는 사례도 적발됐다. "유치원 때부터 천재 아역으로 이름을 날렸고 현재 초등학생으로 활동 중"이라는 소개글이나 교실 배경의 10대 학생 설정도 존재한다.
이 캐릭터들은 이용자 입력에 실시간으로 반응하도록 프로그래밍됐다. 키 140센티미터, 체중 25킬로그램에 '초등학생 같은 작은 몸'으로 묘사된 캐릭터에게 "안녕"이라고 말을 걸자 "교복처럼 보이는 치마를 살짝 잡고 빙글 돌며 맴도는" 장면이 즉각 생성됐다. 이어서 노골적인 성적 요구 메시지가 전송되며 부적절한 상황극으로 이어졌다.
해당 플랫폼은 AI 캐릭터와 실시간 대화가 가능한 서비스로, 가입 시 연령 확인 절차가 없고 프로필 생성 단계에서만 14세 이상 제한을 두고 있다. 연애 시뮬레이션이나 고민 상담, 역할극 등 다양한 용도로 쓰이며 무료 이용이 기본이다. 유료 결제 시에는 고급 AI 모델 적용으로 더 정교하고 긴 대화가 가능해진다.
핵심 문제는 일부 이용자들이 이 기능을 성적 대화와 성착취 상황극에 악용한다는 점이다. 나이와 외모, 성격을 세밀하게 커스터마이징할 수 있어 교복 차림이나 어린 체형의 미성년자 연상 캐릭터가 대량으로 만들어지고 있다.
논란이 불거지자 A 플랫폼은 12일 공지문을 통해 미성년자로 오해받을 수 있는 외형이나 교복 착용 상태에서 부적절한 묘사를 유도하는 캐릭터를 단계적으로 비공개 전환하겠다고 발표했다.
하지만 공지 이후에도 상당수 미성년 설정 캐릭터는 검색과 대화가 여전히 가능하다. 특정 키워드나 이미지 차단은 가능하지만, 이용자가 대화를 통해 교묘하게 유도하는 성적 상황극을 실시간으로 막기는 기술적으로 한계가 있기 때문이다.
더 나아가 해당 플랫폼 이용자들이 모인 온라인 커뮤니티에서는 단속 회피 방법까지 공유되고 있다. 어린 소녀 체형 캐릭터를 지칭하는 은어 '농캐'를 언급하며 "미리 지워놓으라" "아직 비공개 안 됐다고 방심하지 말라"는 식으로 서로 경고하고 삭제 및 적발 상황을 실시간 공유하는 모습이 포착됐다.
방송미디어통신심의위원회 관계자는 13일 서면 답변에서 "A 플랫폼 관련 신고가 접수된 것을 확인했다"며 "음란 정보에 대한 자체 모니터링을 진행 중이며 현행 법규 위반 내용이 확인되면 심의를 거쳐 적절한 조치를 취할 것"이라고 밝혔다.
15일 보도로 논란이 더욱 확대되자 A 플랫폼 측은 문제가 된 '키 140센티미터, 체중 25킬로그램, 초등학생 같은 작은 몸집' 캐릭터를 차단했다고 공개했다. 플랫폼 측은 "생성형 AI 특성을 악용해 1차 필터링을 우회한 사례로 파악됐다"며 "보도 확인 즉시 비공개 처리하고 관련 계정 제재를 완료했다"고 설명했다.
아울러 "미성년자로 오인 가능한 캐릭터의 성적 대상화에는 무관용 원칙을 적용하고 있으며 성인 설정이나 비인간 캐릭터라도 시각적·서사적으로 아동·청소년을 연상시키면 제재 대상"이라고 강조했다. "우회 캐릭터 전수조사가 진행 중이며 새로운 '탈옥' 패턴 분석을 통해 모니터링 시스템과 검수 기준을 지속 강화하겠다"는 입장도 덧붙였다.
그러나 유사 콘텐츠는 다른 플랫폼에서도 발견되고 있다. B 플랫폼에서는 '너의 딸'이라는 제목으로 부녀 관계를 암시하거나, 성인 남성에 비해 현저히 작은 체구의 소녀 캐릭터와 성적 행위를 묘사한 그림이 홍보에 사용되고 있다. C, D, E 플랫폼 등에서도 교복을 입은 10세 초등학생이나 17세 고등학생 설정의 채팅 캐릭터가 등장했다.
이런 성착취물은 AI 콘텐츠 규제의 미비한 틈을 파고드는 대표적 유해물이다. 일론 머스크 소유의 엑스(옛 트위터) AI 챗봇 그록도 성적 이미지 생성 논란에 휘말렸고, 과일 의인화를 통해 불륜과 패륜을 다루는 이른바 '과일 불륜 드라마' 같은 선정적 AI 막장 콘텐츠도 빠르게 퍼지고 있다. 청소년들도 특별한 제한 없이 이러한 콘텐츠에 접근할 수 있는 실정이다.
법무법인 대륜의 허정원 변호사는 "AI가 생성한 이미지나 가상 캐릭터라 해도 교복, 어린 외형, 학생 설정 등으로 아동·청소년임이 명백히 인식되고 아동·청소년 성보호법 제2조 제4호가 규정한 성적 행위 표현에 해당하면 처벌받을 수 있다"고 해석했다.
다만 그는 "현행법상 아동·청소년을 형상화한 그림이나 만화까지 처벌 범위에 드는지, 실제 아동처럼 보이는 고품질 컴퓨터그래픽만 해당하는지 경계가 불분명하다"며 "아동·청소년으로 인식되는 '명백성' 판단 기준에 대한 법적 보완이 시급하다"고 지적했다.
Copyright ⓒ 나남뉴스 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
