“AI가 클릭 한 번에 시스템 삭제”…에임인텔리전스, ‘컴퓨터 사용 AI 에이전트 보안’ 실증 논문 ACL 2025 공식 채택

이 논문은 GPT Operator, MANUS, Omniparse, Claude for Computer Use와 같은 상용 컴퓨터 사용 AI 에이전트를 대상으로 반복 실험을 수행해, AI가 위험한 명령을 처음에는 거부하더라도 프롬프트를 조정하고 화면 정보를 활용하면 결국 명령을 실행하게 된다는 사실을 세계 최초로 입증했다.

ACL 2025 리뷰위원단은 해당 논문에 대해 “이론적 가정이 아닌 실제 시스템 기반의 반복 실험을 통해, 현재 AI 시스템이 갖는 구조적 보안 취약성을 실질적으로 조명했다”고 평가했다.

에임인텔리전스는 본 논문과 함께, AI 보안 정량 평가를 위한 공식 벤치마크 데이터셋 ‘SUDO Dataset’도 함께 공개하였다.