육안으로 못 잡던 딥페이크까지…성범죄물 ‘자동추적’하는 AI

[이데일리 방보경 기자] 성평등가족부가 인공지능(AI)으로 디지털성범죄 영상물을 더 빠르게 찾을 수 있는 기술을 선보였다. 육안으로 구분하기 어려운 딥페이크까지도 신속하게 구별하는 만큼 추가 피해를 막을 수 있을 것으로 전망된다.

(자료=성평등가족부)

성평등부는 디지털성범죄 대응에 AI 기반 3대 핵심 기술 시스템을 도입했다고 1일 밝혔다. 이번 시스템 도입으로 대응체계가 자동화·지능화되면서 삭제 속도가 더 빨라질 전망이다.

우선 피해영상물 사이트 2만 개에 대한 삭제요청부터 처리 이력 관리까지 전 과정을 자동화했다. 건당 처리 시간도 1분 이내로 단축했다. 대량의 우회 접속 URL도 삭제요청할 수 있는데, 중앙디지털성범죄피해자지원센터 시스템을 미국 국립실종학대아동방지센터(NCMEC) 및 글로벌 CDN 사업자 클라우드플레어와 API로 연계했기 때문이다.

구글 콘텐츠 삭제 양식과 전기통신사업법 신고 양식도 자동 작성·발송하도록 했으며, 종사자가 정신적으로 소진되지 않게끔 촬영물 필터(회색조 처리) 기능도 생겼다.

또한 ‘아동·청소년 온라인 성착취 선제적 대응 시스템’도 도입했다. 해당 시스템은 SNS와 랜덤채팅앱에서 성착취물 및 유인정보를 24시간 자동 수집한다. AI가 △키워드 탐지 △이미지 내 텍스트 추출 △신체 노출도 판단 △아동·청소년 여부 추정 △유사 이미지 대조 등 다단계 분석을 거쳐 성착취물 여부를 판단한다. 이후 신고 및 삭제요청까지 자동으로 이뤄진다.

시스템에는 랜덤채팅앱에서 데이터를 자동 수집할 수 있는 기술도 탑재돼 있다. 기존 중앙 디성센터의 삭제지원시스템과 연계해 성인시스템 유포 현황을 탐지하고 자동 삭제요청을 할 수 있다.

이를 25일간 시범운영한 결과 종사자 1인당 일평균 수집 건수가 크게 늘었다. 아동·청소년 성착취물은 2.7배 이상, 성착취 유인정보는 80배 이상으로 나타났다. 성평등부는 향후 성착취물을 신속하게 삭제 지원하고, 전문 상담원이 개입하는 ‘온라인 아웃리치’를 병행해 지원을 강화할 계획이다.

마지막으로 ‘AI 기반 딥페이크 탐지 솔루션’을 도입해 육안으로 판별이 어려웠던 합성물을 정확히 식별할 수 있게 됐다. 합성·편집물로 의심되는 영상물을 발견한 후에는 피해자가 알지 못했던 합성물도 추가로 찾아내 유포를 막을 수 있게 됐다.

원민경 성평등부 장관은 “AI 기술을 현장에 본격 도입해 대응 속도와 정확도를 높이고 촘촘한 지원체계를 구축해 피해자의 일상 회복을 위해 앞장설 것”이라고 밝혔다.