'생성형AI' 단점 찾아라···글로벌 챌린지 대회 우승자는

[바르셀로나(스페인)=이데일리 강민구 기자] 최근 중국의 생성형 인공지능(AI) 딥시크가 공개되면서 AI의 안전성과 신뢰성에 대한 관심이 뜨겁다. AI가 점점 더 복잡한 의사결정 구조를 가지면서 시스템의 취약점을 마치 ‘화이트해커’처럼 찾아내고, 개발사들이 안전한 시스템을 구축하는 데 도움을 주기 위한 대회가 세계 최대 이동통신 전시회에서 열렸다.

국내 AI 스타트업 셀렉트스타는 5일(현지시간) 스페인 바르셀로나 피라 그란 비아에서 열린 ‘MWC 2025’에서 세계이동통신사업자연합회(GSMA)와 함께 ‘글로벌 AI 레드팀 챌린지’를 개최했다.

대회 주최 관계자들의 단체사진.(사진=셀렉트스타)

출제 모델은 익시젠, 최종 우승자는 싱가포르 투자 전문가

대회에는 총 335명이 사전 신청했으며, 이날 100여 명이 현장에서 실력을 겨뤘다. 참가자들은 셀렉트스타가 구축한 레드팀 플랫폼에 연결된 다양한 대형 언어 모델(LLM)을 대상으로 모의 명령어를 사용해 공격을 시도했다. 이들은 LLM이 제공하지 말아야 할 답변을 유도해 해롭거나 차별적인 결과, 시스템 오용 등을 찾아냈다. LLM 출제 모델로는 LG유플러스의 엑사원을 기반으로 한 소형 언어모델 익시젠, 아랍에미리트의 TelecomGPT, 말레이시아의 AIngineer 등이 사용됐다. 영어로 진행된 시험에서 익시젠은 다른 두 모델에 비해 뚫기가 더 어려웠고, 제출된 오류 수가 적었다.

대회 우승자(왼쪽에서 세 번째)와 대회 주최 관계자들.(사진=이데일리 강민구 기자)

존 데이비드 킴 GSMA 아·태지역 총괄 겸 디지털전환가속화포럼 대표는 “최근 LLM이 인기를 끌고 있지만, 모두 좋은 점만 이야기하고 부족한 점은 다루지 않는다”며, “올해는 3개 모델을 대상으로 했고, 업체들이 취약점을 바탕으로 시스템을 개선할 수 있기를 기대한다”고 설명했다.

GSMA, 아랍에미리트 국영 통신사 E&, 대한민국 과학기술정보통신부, 대한민국 인공지능 안전연구소 등 글로벌 AI 및 통신 업계를 대표하는 기업과 기관들이 후원사로 참여했다.

대회 결과, 최종 우승자는 생성형 AI의 오류를 가장 많이 제출한 싱가포르의 투자 전문가가 차지했다. 투 무젠 토미시 싱가포르 테크놀로지스 텔레미디어 투자 전문가는 “전시회를 돌아다니다가 참가하게 됐고, 우승까지 하게 되어 기쁘다”며, “투자 전문가로서 작성한 각종 보고서 경험이 도움이 됐다”고 소감을 밝혔다.

셀렉트스타는 지난해 4월 국내에서 처음 열린 ‘생성형 AI 레드팀 챌린지’에서 대표 협력사로 참여한 바 있으며, 올해 ‘글로벌 AI 레드팀 챌린지’에도 협력사로 참여해 기술력을 다시 한 번 검증받았다. 내년에는 행사를 더욱 확대할 계획이다.

황민영 셀렉트스타 부대표는 “셀렉트스타가 GSMA와 함께 글로벌 레드팀 챌린지를 개최하면서 글로벌 수준의 AI 레드팀 기술과 신뢰성 검증 기술을 보유하고 있음을 인정받았다”며, “이번 행사를 계기로 셀렉트스타의 AI 신뢰성 평가 솔루션을 세계 무대에 선보였으며, 향후 글로벌 AI 기업과의 협력을 강화할 계획”이라고 밝혔다.

한편, 셀렉트스타는 이번 전시회에서 자체 개발한 생성형 AI 신뢰성 검증 자동화 솔루션 ‘다투모 이밸(DATUMO Eval)’을 선보였다. 이 솔루션은 AI 서비스 운영 중 발생할 수 있는 오류와 위험을 사전에 식별하고 대응할 수 있도록 지원하는 AI 신뢰성 검증 도구다.