셀렉트스타, AI 안전성 연구 3편 ‘ICML 2026’ 워크샵 채택

[사진=셀렉트스타] 

[이뉴스투데이 백연식 기자] 셀렉트스타는 자사 AI Safety팀의 연구 논문 3편이 ‘ICML 2026’ 워크샵에 게재된다고 6일 밝혔다.

ICML(국제머신러닝학회)은 ICLR, NeurIPS와 함께 세계 최고 권위의 AI 학회로 꼽히며, 올해는 7월 6일부터 11일까지 서울 코엑스에서 열린다. 셀렉트스타의 논문은 실사용 환경에 배포된 에이전트형 AI의 안전·보안·신뢰성을 주제로 한 ‘AIWILD 워크샵’에 1편, 생성형 AI를 문화적 기술로 보고 그 문화적 가치를 긍정적으로 평가·설계하는 방법을 다루는 ‘Culture x AI 워크샵’에 2편이 채택됐다.

해당 연구는 대규모언어모델(LLM)의 안전성(Safety)을 평가하기 위한 학습데이터 생성·평가 기술로, 셀렉트스타의 신뢰성‧안전성 검증 분야 기술력이 글로벌 톱티어 학회에서 인정받았다는 점에서 의미가 있다. 또한 공통적으로 안전성 확보를 위해서는 고정된 평가 기준이나 영어권 중심의 기성 데이터만으로는 한계가 있으며, 실제 사용 환경과 문화적 맥락, 변화하는 위험 유형을 반영한 데이터 중심 접근이 필요하다는 점을 증명하고 있다.

이번에 채택된 첫 번째 논문 ‘Reliable to Expressive: A Curriculum for Rubric-Following Safety Judges’는 안전성 평가 기준(루브릭)에 맞춰 AI 답변의 위험성을 검증하고 채점하는 LLM 응답 안전성 평가 모델(Safety Judge)을 제안했다. 그간 AI 안전성 분야에서 드물었던 '커리큘럼 러닝'을 도입해 범용적으로 학습된 평가 모델이 금융권 데이터와 같이 새로운 도메인 환경에 직면하더라도 일관되게 우수한 평가 성능을 발휘함을 입증했다. 이는 급변하는 AI 위험에 맞춰 새로운 보안 환경이나 기준 변화에도 유연하게 대처 가능하며, 내부 폐쇄망 환경에서도 빠르고 정확한 AI 안전성 검증을 가능하게 해 높은 산업적 활용 가치를 보여준다.

두 번째 논문인 ‘Culturally-Adapted Red-Teaming Across East and Southeast Asian Contexts: A Methodological and Comparative Analysis’는 셀렉트스타의 자체 문화 맞춤형 레드티밍 벤치마크 생성 프레임워크 'CAGE'를 아시아권으로 확장 적용한 연구이다. 한국어, 크메르어(캄보디아어), 일본어, 태국어 사례를 통해 영어권 벤치마크를 단순 직역한 평가만으로는 국가별·문화권별 위험을 충분히 포착하기 어렵다는 점을 분석했다. 연구진은 문화권에 맞는 레드티밍 시드를 만들기 위해 각 국가의 문화적 특수성이 반영되어야 하며, 평가 데이터 역시 실제 사용자가 마주할 수 있는 위험 시나리오와 문화적 이해를 갖춰야 한다는 점을 제시했다.

세 번째 논문인 ‘Korean Culture into LLM Alignment: Toward Cultural Coherence’는 LLM에 한국의 사회규범, 법·제도, 언어적 맥락을 반영한 안전 정렬 학습 데이터셋 구축 파이프라인을 제시했다. 일반적으로 LLM 안전 정렬 학습은 성능 저하로 이어질 수 있지만, 해당 방법론은 답변의 근거를 스스로 추론하도록 학습시켜 AI 성능 저하 한계를 극복하고 한국 문화권에 적합한 안전 응답 역량을 향상시켰다. 해당 방법론은 현재 진행 중인 ‘독자 AI 파운데이션 모델’ 프로젝트에도 활용되어 효용성을 입증했다.

김세엽 셀렉트스타 대표는 “이번 논문 채택은 셀렉트스타가 AI 안전성 분야에서 요구되는 핵심 기술 역량을 입증했음을 보여주는 성과”라며 “ACL 2026, ICLR 2026 메인 컨퍼런스 채택에 이어 ICML 2026 워크샵에서도 연구 성과를 인정받은 만큼, 신뢰할 수 있는 AI 생태계 구축을 위한 기술 개발에 힘쓰겠다”고 말했다.

한편, 셀렉트스타는 6일 인공지능안전연구소(AISI)가 주최하는 '제3차 AI 안전 정책 연구 세미나'에 연사로 참여한다. 특히 이번 세미나에는 글로벌 AI 기업 Scale AI도 함께 연사로 참여해 의미를 더한다. 두 기업은 공통적으로 ‘단순 번역 기반 데이터의 위험성’을 화두로 던진다. Scale AI는 단순 번역을 통한 안전성 평가가 한국어 환경에서 가지는 한계점을 발표하며, 이어 셀렉트스타는 텍스트를 넘어 멀티모달환경까지 아우르는 문화 인지형 LLM 벤치마크 구축 기술을 소개할 예정이다.