딥페이크·AI 콘텐츠 범람에 주목받는 ‘세이프티 솔루션’

[이데일리 윤정훈 기자]인공지능(AI) 경쟁이 텍스트 생성을 넘어 이미지, 영상으로 빠르게 확장되고 있다. 오픈AI의 영상 생성 모델 ‘소라(Sora)’가 전 세계적 주목을 받는 가운데, 구글의 이미지 생성 AI ‘나노바나나(Nano Banana)’가 출시되며 AI 콘텐츠 시대의 새 챕터가 열리고 있다. 반면 딥페이크, 로맨스 스캠 등 AI를 활용한 문제도 폭발적으로 늘고 있어 이를 해결할 수 있는 솔루션에도 관심이 모아지고 있다.

AI로 생성한 트럼프 미국 대통령 관련 딥페이크 이미지(사진= 엘리엇 히긴스 X)

13일 경찰청에 따르면 2021년부터 2025년 8월까지 발생한 디지털 성범죄는 1만6211건에 달한다. 전문가들은 특히 AI를 이용한 딥페이크 범죄가 폭증하고 있으며, 이렇게 무분별하게 생성된 저품질·유해 콘텐츠인 ‘AI 슬롭(AI Slop)’에 대한 문제의식도 커지고 있다.

이 같은 문제는 전 세계적으로 확산 중이다. 유럽연합(EU)은 AI법(AI Act)을 통해 생성형 콘텐츠의 출처 공개를 의무화하고 위반 시 전 세계 매출의 최대 7% 과징금을 부과할 수 있도록 했다. 그러나 과도한 규제가 혁신을 막을 수 있다는 우려에 따라 최근엔 ‘활용 중심 패러다임’으로 정책 기조를 완화했다. 한국도 AI 기본법 청사진을 마련했지만, 개인 단위 규제보다는 기술 중심의 안전망 구축에 초점을 맞추는 방향이다.

이에 AI를 신뢰있고, 안전하게 사용할 수 있는 솔루션의 중요성도 커지고 있다. 법과 윤리만으로는 급변하는 AI 생태계를 따라잡기 어렵기 때문이다. T&S는 AI의 책임성과 안전성을 기술적으로 보완하는 영역으로, AI 생태계의 ‘보이지 않는 인프라’로 자리 잡고 있다.

해외에서는 루스트(ROOST)가 중소 규모 조직을 위해 오픈소스 T&S 툴킷을 제공하고, 이스라엘 스타트업 아포리아(Aporia)는 대형 언어모델(LLM)의 답변을 실시간 필터링하는 ‘가드레일(Guardrails)’ 기술로 LLM 보안 사고를 40% 이상 줄였다.

국내에서는 파일러(PYLER, 대표 오재호)가 대표적인 T&S 솔루션 기업으로 꼽힌다. ‘AI 백기사’를 자처하는 파일러는 자체 영상이해 AI 모델로 동영상 플랫폼의 유해 영상을 자동 탐지·차단하는 솔루션을 제공한다. 하루 150만 건 이상의 영상을 실시간 분석하며, AI 슬롭의 확산을 막는 역할을 한다.

파일러는 ‘엔비디아 인셉션 스타트업 그랜드 챌린지 2025’ TOP 5에 선정됐으며, 11월 17일 열리는 ‘엔비디아 AI Day 서울’에서 브랜드 세이프티를 주제로 블랙웰 DGX 임원과 공동 세션을 진행할 예정이다. 기술력과 상업성을 동시에 인정받은 셈이다.

특히 파일러의 ‘AiD’ 솔루션은 광고주 대상 T&S 시장을 새롭게 열었다. 유해 영상이나 가짜 뉴스가 포함된 콘텐츠에 광고가 노출되지 않도록 사전에 차단해 브랜드 세이프티(Brand Safety)를 확보한다. 삼성전자(005930), KT(030200), 농심(004370), 현대해상, 딥다이브 등 주요 기업들이 AiD를 도입했으며, 적용 전에는 민감 영상 노출 광고 비중이 15~25%였지만 적용 후 2~3% 수준으로 떨어졌다.

오재호 파일러 대표는 “오픈AI는 서울이 영상 생성 AI ‘소라’ 사용 인구 1위 도시라고 밝혔는데, 기술 수용에 열려있다는 것은 안전망 구축에 대한 필요성이 더욱 크다는 의미이기도 하다”며 “성인용 챗GPT 출시도 예고된 만큼 어린이, 청소년들을 위한 사회 안전망을 반드시 준비해야 한다. 기업과 개인, 정부까지 적극적으로 AI를 활용하기 시작한 지금이 T&S 강화를 위한 시스템 도입을 고려할 적기”라고 강조했다.