KAIST, AI 스스로 숨은 약점 찾는다···더 안전한 생성형 AI 만든다

KAIST 연구진이 AI의 숨은 취약점을 기존보다 약 7배 더 다양하게 찾아내는 안전성 검증 기술을 개발했다.

생성형 AI의 레드팀(Red Teaming)은 프로그램을 배포하기 전에 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트(Attack Prompt, AI의 취약점을 시험하기 위한 질문)를 만들어 숨은 약점을 찾아내는 과정이다.

이를 해결하기 위해 생성 흐름 네트워크(Generative Flow Network, GFlowNet, 보상에 비례해 다양한 결과를 생성하도록 학습하는 AI 생성 기술)가 제안됐지만, 학습 과정에서 계산이 복잡하고 불안정하며 의미 없는 문장에도 높은 보상이 주어져 성능이 쉽게 무너지는 문제가 있었다.