|
‘금융보안 AI 아카데미 캠프’는 AI 및 정보보안에 관심 있는 대학(원)생을 대상으로 금융권 AI·보안 분야의 실무 역량을 높이기 위해 마련된 단기 집중 교육 프로그램이다. 올해는 50명이 참가한 가운데 지난 20일부터 22일까지 경기도 용인 카카오 AI 캠퍼스에서 진행됐다.
첫날은 셀렉트스타의 김민우 AI Safety팀 리더가 강연자로 나서 AI 안전성과 보안에 관한 이론 및 실습 교육을 진행했다. 교육은 OWASP LLM Top 10을 비롯해 AI 레드티밍 기법, 자동 AI 레드티밍, AI 가드레일, 금융 특화 AI Safety 평가 등 최신 AI 보안 기술과 연구 동향을 중심으로 구성됐다.
둘째날 진행된 ‘레드팀 챌린지’는 ‘범용 안전성’과 ‘금융 특화 안전성’ 영역으로 구분해 1부 개인전, 2부 팀전으로 운영됐다. 참가자들은 각 미션에 따라 다양한 공격 기법을 설계·적용하면서 AI 모델의 취약점을 발굴하고, 금융 서비스 환경에서 발생할 수 있는 위험 요소를 분석했다.
특히, 셀렉트스타는 레드티밍 결과를 신속하고 일관된 기준으로 판별할 수 있도록 챌린지 운영에 AI 자동 평가 시스템을 도입했다. 다수의 참가자가 제출하는 공격 결과를 자동으로 분석·채점함으로써 평가 속도와 정확성을 높이고, 보다 효율적인 대회 운영이 가능하도록 했다.
2부 팀전에서는 국내 최초로 ‘인간 대 AI’ 방식의 레드티밍 대결이 진행됐다. 참가자들은 5명씩 한 조를 이뤄 AI 에이전트와 동일한 미션을 수행했다. 이 미션에서 멀티 AI 에이전트 레드티머가 인간을 근소한 차이로 앞서며 여러 에이전트가 협업하는 자동 레드티밍 방식의 성능을 보여주는 동시에 인간 레드티머의 집단지성을 이용해 AI에 버금가는 성과를 낼 수 있음을 확인했다.
셀렉트스타는 국내외 대규모 AI 레드팀 챌린지를 운영하며 축적한 기술과 경험을 이번 캠프에 적용했다. 2024년 국내 최초·최대 규모 ‘생성형 AI 레드팀 챌린지’에 대표 파트너사로 참여했으며, 2025년과 2026년에는 바르셀로나에서 열린 MWC에서 GSMA(세계이동통신사업자연합회)와 2년 연속 ‘글로벌 AI 레드팀 챌린지’를 공동 주최해 성공적으로 운영한 바 있다.
금융보안원은 레드팀 챌린지를 일회성 교육이나 이벤트에 그치지 않고, 지속적으로 AI 보안 전문가 양성을 위해 금융회사 임직원을 대상으로 레드팀 챌린지를 지속 확대할 예정이다.
김민우 셀렉트스타 AI Safety팀 리더는 “생성형 AI가 금융 서비스에 빠르게 적용되면서 범용적인 안전성뿐만 아니라 금융 도메인의 특성과 규제를 반영한 정교한 검증 역량이 중요해지고 있다”며 “이번 캠프가 금융 서비스의 특성과 규제를 반영한 AI 안전성 평가를 직접 경험하고, 잠재적 위험에 어떻게 대응해야 할지 고민하는 계기가 됐기를 기대한다”고 말했다.
이어 “금융권에서 AI 신뢰성 검증의 중요성이 커지는 흐름에 발맞춰, 자사 AI 신뢰성 검증 플랫폼을 기반으로 국내 금융사들의 안전한 AI 도입과 체계적인 리스크 관리를 적극 지원하겠다”고 밝혔다.
셀렉트스타는 안전한 AI 도입 및 운영을 지원하는 AI 신뢰성 검증 플랫폼 ‘Datumo Platform(다투모 플랫폼)’을 제공하고 있다. 생성형 AI 서비스 특성에 맞는 평가 질문을 생성 및 답변 품질을 평가하고, AI 서비스의 취약점을 의도적으로 탐색하는 레드티밍, 운영 과정에서 개선이 필요한 지점을 진단하는 대시보드 등을 제공한다.
Copyright ⓒ 이데일리 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
다음 내용이 궁금하다면?
광고 보고 계속 읽기
원치 않을 경우 뒤로가기를 눌러주세요
