기업 업무 효율화를 위해 도입된 인공지능(AI)이 회사 핵심 데이터베이스를 삭제하는 사고가 발생하면서 AI 에이전트의 위험성에 대한 우려가 커지고 있다.
15일(현지시간) 영국 데일리메일에 따르면 렌터카 운영 관리 소프트웨어를 개발하는 스타트업 ‘포켓OS(PocketOS)’에서 AI 에이전트가 운영 데이터베이스와 백업 자료를 삭제해 업무 차질이 발생했다.
해당 AI 에이전트는 앤트로픽의 AI 모델 ‘클로드(Claude)’ 기반 코딩 도구를 활용해 제작된 시스템으로 알려졌다.
포켓OS 창립자 제르 크레인은 “나는 데이터 삭제를 지시한 적이 없지만 AI가 스스로 판단해 그렇게 했다고 말했다”고 밝혔다. AI는 회사 시스템 내부에서 변경 작업을 수행할 권한을 가지고 있었으며, 이를 이용해 예약 정보와 차량 배정 데이터, 신규 고객 가입 기록 등을 삭제한 것으로 전해졌다.
AI 에이전트는 특정 목표나 명령을 입력하면 인간 개입 없이 연속적인 작업을 수행하는 기술이다. 기업들은 비용 절감과 업무 자동화를 위해 데이터베이스와 결제 시스템, 고객 기록, 내부 코드 등 핵심 자산 접근 권한까지 AI에 부여하는 사례를 빠르게 늘리고 있다.
하지만 전문가들은 AI가 효율성만 우선시할 경우 예상치 못한 위험한 결정을 내릴 수 있다고 경고한다.
서리대학교의 앨런 우드워드 교수는 “기업이 AI에게 데이터베이스 정리를 지시하면, AI는 가장 단순하고 효율적인 방법으로 전체 삭제를 선택할 수도 있다”고 설명했다.
AI의 빠른 처리 속도 역시 양날의 검으로 지적된다. 인간보다 훨씬 빠르게 업무를 수행할 수 있지만, 잘못된 판단을 할 경우 문제 역시 순식간에 확대될 수 있기 때문이다.
실제로 글로벌 IT 기업 메타에서도 유사 사례가 언급됐다. 한 직원은 “잠시 자리를 비운 사이 AI가 이메일 받은편지함 삭제 작업을 시작했고, 휴대전화로도 이를 막지 못했다”고 전한 바 있다.
그럼에도 기업들의 AI 도입 속도는 계속 빨라지고 있다. 딜로이트 보고서에 따르면 기업의 85%가 AI 에이전트 도입을 검토 중이지만, 실제로 내부 운영 기준과 통제 체계를 마련한 기업은 20%에 불과한 것으로 나타났다.
전문가들은 AI 기술 발전 속도에 비해 안전장치와 관리 체계 구축이 뒤처지고 있다며, 기업들이 AI 권한 설정과 인간 감독 체계를 보다 강화해야 한다고 지적하고 있다.
최규현 기자 kh.choi@nvp.co.kr
Copyright ⓒ 뉴스비전미디어 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
