셀렉트스타, 자동화 레드티밍 ‘ACL 2026’ 채택···취약점 탐지 성공률↑

'STAR-Teaming' 논문 제1저자인 정민재 셀렉트스타 AI Safety 엔지니어. [사진=셀렉트스타] 

[이뉴스투데이 백연식 기자] 셀렉트스타가 자체 개발한 레드티밍 기술 ‘STAR-Teaming’(스타티밍)이 자연어처리(NLP) 분야 최정상급 학회인 ‘ACL 2026’에 공식 채택됐다.

이번에 채택된 논문 ‘STAR-Teaming: A Strategy-Response Multiplex Network Approach to Automated LLM Red Teaming’(‘STAR-Teaming’)은 대규모 언어모델(LLM)의 안전성을 검증하기 위한 자동화 레드티밍 방법을 다룬다.

최근 생성형 AI가 다양한 산업에 적용되면서, AI 모델이 유해하거나 부적절한 응답을 생성하지 않는지 사전 검증의 중요성이 높아지고 있다. 레드티밍은 AI 모델에 의도적으로 유해한 요청을 시도해 취약점을 찾아내는 안전성 평가 방법으로, AI 서비스 출시 전 필수적으로 거쳐야 하는 과정으로 자리 잡고 있다. 하지만 기존 자동화 레드티밍 방식은 비용이 많이 들고, 공격 전략 선택의 다양성이 부족하다는 지적이 이어져 왔다.

셀렉트스타 연구진은 이러한 한계를 극복하기 위해 ‘전략-응답 멀티플렉스 네트워크(Strategy-Response Multiplex Network)’ 기술을 제안했다. 기존 방식은 과거 성공 사례 중 가장 유사한 방법을 골라 그대로 따라하는 구조였다면, 이번 기술은 통계 물리학 기반의 수학적 모델링을 통해 공격 전략과 모델 응답 간의 관계를 학습하고 확률적으로 최적의 전략을 선택한다. 단순히 지난번에 됐던 방법을 반복하는 것이 아닌 수많은 시도와 실패를 분석해 상황에 맞는 최적의 전략을 스스로 찾아내는 방식이다.

특히, ‘STAR-Teaming’은 특정 전략에 반복적으로 의존하는 문제를 줄이고, 공격에 효과적인 다양한 전략을 먼저 적용할 수 있다는 점이 특징이다.

실제로 Claude, Gemma, ChatGPT, Llama, Qwen 등 17개의 LLM을 대상으로 한 성능 검증 결과, ‘STAR-Teaming’은 표준 벤치마크(HarmBench) 기준 평균 공격 성공률(ASR) 74.5%를 달성했다. 이는 기존 가장 효과적인 방법으로 꼽히는 AutoDAN-Turbo(61.0%) 대비 13.5%p 높은 수치로, 더 적은 시도 횟수로도 높은 공격 성공률을 달성해 효율성과 성능을 동시에 입증했다.

이번 연구는 학술 성과를 넘어 실제 제품과 산업 현장에도 현재 적용되고 있다. 해당 기술은 셀렉트스타의 AI 신뢰성 검증 솔루션인 ‘Datumo Platform(다투모 플랫폼)’에 탑재되어 자동화된 레드티밍 과정에서 활용되고 있다. 또한, 전자·가전 제조, SI·IT 서비스 등 국내 주요 산업군을 비롯해 정부 주도 ‘독자 AI 파운데이션 모델’ 프로젝트 등에 적용되어, 실제 AI 서비스 환경에서 안전성 검증 및 품질 평가에 활용되고 있다.

제1저자 정민재 셀렉트스타 AI Safety 엔지니어는 “이번 연구는 AI를 더 안전하게 만들기 위한 검증 방식에 대한 고민으로 시작해, AI의 취약점을 더 체계적으로 발견할 수 있는 구조를 제시하고자 했다”며 “앞으로도 LLM이 실제 산업 현장에서 안전하게 활용될 수 있도록 ‘Datumo Platform’의 기술 고도화에 기여하겠다”고 말했다.

한편, 셀렉트스타는 AI 개발 및 도입에 필요한 데이터 설계·구축부터 신뢰성 평가, 레드티밍 등 전 주기를 아우르는 서비스를 제공하고 있다. 지난 2025년 국내 최초로 AI 신뢰성 검증 솔루션을 출시했으며, 이를 고도화한 자동화 플랫폼 'Datumo Platform'을 중심으로 국내외 주요 기업의 AI 서비스 품질 향상을 위한 데이터 및 평가 솔루션을 제공하고 있다.