생성형 인공지능(AI)과 AI 에이전트 활용이 빠르게 확산되면서 AI 자체의 안전성과 신뢰성을 검증하는 'AI 신뢰보안(AI Trust Security)' 시장이 새로운 보안 분야로 떠오르고 있다. 기존 사이버 보안이 시스템과 네트워크를 보호하는 데 초점을 맞췄다면, 앞으로는 AI 모델과 서비스의 안전한 운영을 검증하는 기술의 중요성이 더욱 커질 것이라는 전망이 나온다.
AI 보안 전문기업 에버스핀은 AI 안전성 전문기업 티냅스와 AI Trust Security 분야의 전략적 협력 계약을 체결했다고 6일 밝혔다.
양사는 이번 협력을 계기로 AI 시스템의 안전성과 신뢰성을 검증하는 서비스를 공동 개발하고, 국내를 비롯해 일본과 동남아시아 시장을 중심으로 글로벌 AI 보안 사업을 확대할 계획이다.
에버스핀은 협력을 통해 AI 레드티밍(AI Red Teaming)을 포함한 AI Trust Security 서비스를 제공한다. AI 레드티밍은 실제 공격자 관점에서 AI 모델의 취약점을 찾아내고 대응 방안을 검증하는 보안 평가 방식이다.
최근 생성형 AI와 AI 에이전트가 다양한 산업에 도입되면서 기존 보안 체계에서는 다루기 어려운 새로운 유형의 위협도 증가하고 있다.
대표적으로 프롬프트 인젝션(Prompt Injection), 탈옥(Jailbreak), 데이터 유출, 권한 오남용, AI 에이전트 오용 등이 주요 보안 이슈로 꼽힌다.
업계에서는 AI 모델의 성능뿐 아니라 학습 데이터와 운영 환경, 응답 결과까지 종합적으로 검증하는 AI Trust Security 체계 구축이 앞으로 AI 서비스 운영의 핵심 요소가 될 것으로 보고 있다.
에버스핀은 AI 시스템의 설계 단계부터 운영 단계까지 발생할 수 있는 다양한 보안 위험을 사전에 점검하고, AI 레드티밍을 중심으로 AI 신뢰보안 서비스를 고도화할 계획이다.
이를 통해 금융과 공공, 플랫폼, 제조업 등 AI 활용이 확대되는 산업에서 AI 서비스의 안전성과 신뢰성을 객관적으로 검증하고, 글로벌 규제와 국제 표준에 대응할 수 있는 평가 체계도 함께 구축한다는 방침이다.
회사는 기존 해킹 방지와 피싱 방지 솔루션에 AI Trust Security 서비스를 추가해 AI 보안 포트폴리오를 확대할 계획이다. 또한 일본을 중심으로 구축한 해외 사업 네트워크를 활용해 글로벌 시장에서 AI 보안 사업도 강화할 예정이다.
AI 관련 규제가 강화되는 가운데 AI 모델의 신뢰성과 안전성을 검증하는 시장도 빠르게 성장하고 있다. 다만 AI Trust Security는 아직 초기 시장인 만큼 실제 산업 현장에서 검증 가능한 평가 기준과 국제 표준 마련이 향후 시장 확대의 핵심 과제로 꼽힌다.
하영빈 에버스핀 대표는 "AI 시대에는 AI를 얼마나 잘 활용하느냐와 함께 얼마나 안전하고 신뢰성 있게 운영하느냐가 중요한 경쟁력이 되고 있다"며 "AI Trust Security는 앞으로 AI 서비스의 핵심 인프라가 될 것이며 글로벌 시장에서도 경쟁력 있는 AI 보안 서비스를 지속적으로 선보이겠다"고 말했다.
강민승 티냅스 대표는 "AI Trust Security의 핵심은 AI의 안전성과 신뢰성을 객관적으로 검증하는 것"이라며 "이번 협력이 국내외 기업들이 AI를 보다 안심하고 활용할 수 있는 기준을 마련하는 계기가 되기를 기대한다"고 밝혔다.
Copyright ⓒ 스타트업엔 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
