클라우드플레어가 사이트 소유자와 AI 기업을 연결하는 새로운 분류 체계, 분석 기능, 상업적 파트너십을 공개했다. 내 콘텐츠, 내 규칙을 원칙으로 AI 크롤러의 검색·에이전트 사용·학습 목적을 구분하고, 콘텐츠 이용 가시성과 보상 체계를 강화해 에이전트 인터넷 생태계의 지속 가능한 성장을 지원한다.
Cloudflare has introduced new controls, analytics and partnerships for the agentic internet, helping site owners manage AI crawler access, understand attribution, improve AI search efficiency and monetize content usage.
클라우드플레어가 에이전트 인터넷 시대에 맞춰 사이트 소유자의 콘텐츠 제어권과 수익화 기회를 강화하는 새로운 도구와 파트너십을 공개했다.
새 기능은 내 콘텐츠, 내 규칙이라는 원칙을 바탕으로 한다. 사이트 소유자가 AI 기업의 콘텐츠 접근 방식을 더 명확하게 이해하고, 검색 가능성, 에이전트 사용, AI 학습 목적을 구분해 허용하거나 차단할 수 있도록 지원하는 것이 핵심이다.
인터넷 트래픽의 성격은 빠르게 바뀌고 있다. 클라우드플레어에 따르면 자동화된 에이전트와 봇은 전체 웹 요청의 절반 이상을 차지하고 있다. AI가 정보를 찾고 온라인 상거래를 수행하는 새로운 인터페이스로 자리 잡으면서, 콘텐츠가 검색되고 사용되는 방식도 변화하고 있다.
대부분의 웹사이트 소유자는 자신의 콘텐츠가 AI 시스템에서 검색되기를 원한다. 그러나 광고나 구독 기반으로 운영되는 기업은 AI 시스템이 보상 없이 콘텐츠를 학습에 사용하는 상황을 우려하고 있다. 클라우드플레어는 콘텐츠 제공 여부를 사이트 소유자가 직접 결정할 수 있어야 하며, 원하지 않는 경우 AI 접근을 제한할 수 있는 도구가 필요하다고 설명했다.
클라우드플레어는 이를 위해 새로운 기본 분류 체계를 시험하고, 더 깊은 분석 기능을 제공하며, AI 검색 효율을 높이고, 콘텐츠가 AI 응답 생성에 사용될 경우 제작자가 보상받을 수 있는 기반을 마련한다. 목표는 지식재산 보호, 크롤링 효율 개선, 제작자와 AI 기업이 함께 성장할 수 있는 에이전트 경제 구축이다.
매튜 프린스 클라우드플레어 공동 창립자 겸 CEO는 웹사이트 소유자에게 어떤 봇이 콘텐츠에 접근하는지에 대한 투명성과 제어 기능을 제공한 뒤 긍정적인 효과를 확인했다고 설명했다. 그는 인터넷 트래픽 대부분이 사람이 아닌 환경에서는 지속 가능한 생태계를 위해 더 빠르고 과감한 변화가 필요하다고 말했다.
클라우드플레어가 주목하는 문제는 혼합형 크롤러다. 일부 AI 크롤러는 검색, 에이전트 사용, 학습 목적을 구분하지 않고 하나의 봇으로 처리한다. 이 경우 사이트 소유자는 AI 검색 노출을 유지할 것인지, 아니면 콘텐츠를 보상 없이 학습에 제공할 것인지 사이에서 선택을 강요받는다.
투명한 AI 기업은 봇 목적을 구분하고 표시해 사이트 소유자의 선택권을 보장하고 있다. 반면 혼합형 크롤러는 사이트 소유자와 투명한 AI 기업 모두에게 불리한 환경을 만든다. 클라우드플레어는 이러한 구조를 개선하기 위해 새로운 기본 설정과 분류 체계를 마련한다.
클라우드플레어는 앞으로 두 달간 생태계 참여자와 협력하고 피드백을 수렴해 새 기본 설정과 분류 체계를 확정할 계획이다. 적용 시점은 2026년 9월 15일이다.
9월 15일부터 기존 고객의 신규 사이트와 신규 고객 사이트에는 광고가 포함된 페이지에서 검색은 허용하고 학습 및 에이전트 사용은 차단하는 기본 설정이 적용된다. 검색, 에이전트 사용, 학습을 개별 선택할 수 없게 하는 혼합형 크롤러는 광고 포함 페이지에서 차단된다. 고객은 대시보드에서 언제든지 설정을 변경할 수 있다.
같은 날까지 대시보드에서 설정을 변경하지 않은 기존 무료 고객에게도 해당 변경 사항이 적용된다. 클라우드플레어는 이를 통해 에이전트 시대의 검색 가능성을 더 공정하고 투명한 방식으로 재정의하고, AI 기업과 기존 검색 기업 사이의 경쟁 환경도 개선한다는 방침이다.
콘텐츠 이용 가시성을 높이기 위한 분석 기능도 공개됐다. 클라우드플레어는 Attribution Business Insights 대시보드를 제공해 AI 봇이 콘텐츠를 어떻게 소비하는지, 특정 AI 기업이 실제 사람 트래픽을 얼마나 다시 사이트로 유입시키는지 확인할 수 있도록 한다. 기존에는 보안·IT 팀 중심으로 확인하던 데이터를 비즈니스 담당자도 활용할 수 있게 된다.
AI 시대에는 콘텐츠 최적화 기준도 달라진다. 검색 엔진 최적화가 검색 시대의 핵심이었다면, AI 응답 중심 환경에서는 Answer Engine Optimization이 중요해진다. AEO는 누가 콘텐츠를 크롤링하는지뿐 아니라, AI 생성 답변에서 콘텐츠가 어떻게 인용되는지, 얼마나 자주 등장하는지, 모델별 노출 비중이 어떤지를 분석하는 방식이다.
클라우드플레어는 AI 시대를 위한 측정 및 최적화 계층을 제공하는 것을 목표로 한다. 이를 통해 콘텐츠 소유자가 AI 답변 환경에서 자신의 콘텐츠 가치를 확인하고, 협상과 수익화에 활용할 수 있도록 지원한다.
AI 검색 효율을 높이기 위한 기술도 준비 중이다. 현재 AI 모델과 검색 엔진은 최신 정보를 찾기 위해 변경되지 않은 웹페이지를 반복적으로 크롤링하고 있다. 클라우드플레어 데이터에 따르면 AI 크롤러 트래픽의 50% 이상은 변경되지 않은 페이지를 다시 가져오는 데 사용된다.
이는 퍼블리셔에게는 대역폭 낭비, AI 기업에는 컴퓨팅 자원 낭비로 이어진다. 사용자에게 제공되는 답변 품질도 반드시 개선되는 것은 아니다. 클라우드플레어는 실제로 변경된 페이지를 파악할 수 있는 위치에 있기 때문에, 페이지를 다시 가져올 가치가 있는지에 대한 신호를 AI 기업에 제공할 수 있다고 설명했다.
클라우드플레어는 주요 AI 기업과 함께 해당 신호가 최신성 향상과 불필요한 크롤링 감소에 어떤 효과를 내는지 테스트하고 있다. 해당 기능은 올해 안에 더 폭넓게 제공될 예정이다.
콘텐츠 보상 모델도 확장된다. 클라우드플레어는 지난해 퍼블리셔가 AI 기업에 콘텐츠 크롤링 비용을 청구할 수 있는 크롤링당 결제 모델을 선보였다. 새 모델은 사용당 결제 방식으로 발전한다. 콘텐츠가 단순히 수집될 때가 아니라 실제 가치 창출에 기여했을 때 보상이 이뤄지는 구조다.
클라우드플레어는 이를 위해 Ceramic.ai, You.com 등과 협력한다. Ceramic.ai에서는 퍼블리셔가 참여를 선택하면 콘텐츠가 AI 검색 결과에 표시될 때마다 보상을 받을 수 있다. 또 어떤 질의에서 어떤 인용과 순위로 노출됐는지도 확인할 수 있다.
You.com은 에이전트가 필요한 프리미엄 콘텐츠에 대해서만 필요 시 비용을 지불하는 방식을 지원한다. 클라우드플레어는 이 같은 다양한 모델을 뒷받침하는 공통 계층 역할을 맡는다.
클라우드플레어는 지난 1년 동안 AI 크롤링 통제와 콘텐츠 보호를 위한 기반을 단계적으로 구축해왔다. AI Crawl Control은 AI 크롤링에 허가 기반 모델을 적용한 기능이다. 클라우드플레어는 beehiiv 같은 플랫폼과 협력해 독립 크리에이터와 미디어 기업이 특정 AI 모델을 추적하고 차단하거나 허용할 수 있도록 지원했다.
에이전트와의 상호작용을 안전하게 보호하기 위한 Web Bot Auth도 개발했다. 해당 개방형 프레임워크는 퍼블리셔와 판매자가 AI 봇과 자율 쇼핑 에이전트의 신원과 정당성을 확인할 수 있도록 한다.
클라우드플레어는 결제 서비스 제공업체와도 협력해 에이전트 상거래를 위한 결제 기반을 구축하고 있다. Web Bot Auth를 기반으로 AI 쇼핑 에이전트가 원시 자격 증명을 노출하지 않고도 전 세계 판매자와 안전하게 거래할 수 있도록 지원하는 방식이다.
클라우드플레어의 새 도구와 파트너십은 에이전트 인터넷의 핵심 기반을 제어, 투명성, 수익화로 정리한다. 사이트 소유자는 AI 접근 방식을 선택하고, AI 기업은 더 투명한 방식으로 콘텐츠를 활용하며, 제작자는 콘텐츠가 실제 사용될 때 정당한 보상을 받을 수 있다.
클라우드플레어는 인터넷의 다음 단계가 무분별한 크롤링과 불투명한 학습 구조가 아니라, 검색 가능성, 책임 있는 접근, 공정한 보상을 바탕으로 성장해야 한다고 설명했다.