ETRI, 위험성 자동 탐지해 성적·폭력적 답변 회피 AI모델 공개

국내 연구진이 자동으로 이미지·텍스트의 위험성을 탐지해 부적절한 답변을 거부하는 시각언어모델을 개발해 공개했다.

홀리 세이프를 통한 정량 평가에서 '세이프 라바' 모델은 93%의 안전 응답률을 기록했다.

ETRI 이용주 시각지능연구실장은 "세이프 라바는 안전한 답변과 판단 근거를 동시에 제공하는 국내 최초의 시각언어모델"이라며 "현재 인공지능 모델들이 이미지 기반 유해성 탐지에 취약하고 문맥 속 위험 추론에서 한계를 보이는 가운데 홀리 세이프와 같은 구체적 평가 체계는 국내 생성형 AI의 안전성을 높이는 데 도움이 될 것으로 기대된다"고 말했다.