Cloudflare quer separar o direito de encontrar um site do direito de treinar IA com seu conteúdo

A evolução da inteligência artificial transformou profundamente o ecossistema digital. Em 15 de setembro de 2026, a Cloudflare passou a separar o direito de encontrar um site do direito de treinar IA com seu conteúdo ao implementar novos controles granulares para crawlers. Em vez de simplesmente bloquear robôs, a empresa estabeleceu uma nova camada de governança técnica para proteger o valor editorial dos publishers.

Cloudflare muda as regras para crawlers de IA em 15 de setembro

A partir de 15 de setembro de 2026, a Cloudflare colocou em produção uma política que reclassifica o tráfego automatizado de robôs indexadores. Mais do que barrar requisições maliciosas, essa mudança técnica cria regras claras para mediar a extração massiva de dados por laboratórios de inteligência artificial.

Search, Training e Agent: por que a Cloudflare separou os robôs pela finalidade

Historicamente, todo crawler verificado recebia tratamento baseado em uma premissa comum de indexação. Agora, conforme detalha a documentação de gerenciamento de bots da Cloudflare, a empresa divide as interações automatizadas em três categorias operacionais fundamentais:

• Search: robôs dedicados à descoberta de URLs e geração de links nos resultados tradicionais de pesquisa.
• Training: sistemas que coletam páginas para alimentar ou ajustar modelos de linguagem.
• Agent: ferramentas que executam tarefas imediatas em nome de um usuário humano ativo.

Na prática, essa segmentação técnica impede que um único acesso execute funções comerciais totalmente distintas sem que o proprietário do conteúdo possa estabelecer preferências específicas.

O dilema dos crawlers de uso misto

Até essa atualização, o mercado enfrentava um impasse crítico com os chamados mixed-use crawlers. Proprietários de sites precisavam aceitar a raspagem destinada ao treinamento de modelos se quisessem preservar a presença orgânica nos mecanismos que utilizavam o mesmo crawler para diferentes finalidades.

Por que Googlebot, Bingbot e Applebot eram o ponto mais difícil

Grandes ecossistemas tecnológicos utilizam os mesmos agentes de rastreamento para funções distintas. Googlebot, Bingbot e Applebot operavam nessa zona cinzenta porque o mesmo crawler podia participar tanto da descoberta para busca quanto de processos associados à inteligência artificial.

Por isso, simplesmente bloquear esses agentes para impedir treinamento também poderia comprometer a indexação tradicional. Esse conflito é justamente o ponto que a Cloudflare afirma ter tentado solucionar com sua nova política para crawlers de uso misto.

Disallow AI Training: bloquear treinamento sem desaparecer da busca

Para solucionar esse conflito estrutural, a plataforma lançou a diretiva Disallow AI Training. A função comunica formalmente a recusa ao uso do conteúdo para treinamento de modelos enquanto permite que crawlers classificados como responsáveis continuem acessando as páginas para fins de busca.

Desse modo, o proprietário do site deixa de precisar escolher entre visibilidade orgânica e controle sobre o treinamento.

Qual é a diferença entre Disallow e Block

Existe, entretanto, uma distinção técnica crucial entre essas duas configurações:

• Disallow: comunica uma recusa formal de permissão, inclusive por meio do robots.txt sincronizado pela Cloudflare, preservando o acesso de crawlers compatíveis para outras finalidades permitidas.
• Block: bloqueia efetivamente a requisição na infraestrutura da Cloudflare, impedindo o acesso do crawler.

Por que robots.txt sozinho não é uma barreira técnica

O arquivo robots.txt funciona como uma diretriz de acesso, e sua observância depende do comportamento do crawler. A própria documentação da Cloudflare reconhece que o cumprimento do robots.txt é voluntário e que o arquivo, sozinho, não impede tecnicamente a coleta de conteúdo.

Por esse motivo, a Cloudflare combina a sinalização de preferências com mecanismos de inspeção e bloqueio na borda da rede.

Cuidado: Block agora também pode bloquear Googlebot

A partir dessa atualização, aplicar a opção rígida Block a robôs de uso misto também pode interromper requisições de Googlebot, Bingbot e Applebot.

Consequentemente, para preservar a presença nas buscas e, ao mesmo tempo, recusar o treinamento, a opção criada especificamente para esse cenário é Disallow AI Training. A Cloudflare explica que o Block, por sua vez, deve ser usado quando o administrador deseja impedir completamente o acesso do crawler.

O que acontece com quem já usava o antigo Block AI Bots

A implementação final também procurou preservar as escolhas anteriores dos administradores sem aplicar bloqueios generalizados de forma acidental.

Quem nunca configurou nada continua com Allow

Domínios que jamais alteraram os controles originais de inteligência artificial permanecem, de modo geral, no estado permissivo correspondente às configurações migradas. Portanto, a mudança não significou um bloqueio retroativo indiscriminado para toda a base de usuários.

Como as configurações antigas serão migradas

A migração técnica segue critérios baseados no histórico das configurações de cada zona:

• Se o antigo Block AI Bots estava desativado: Search, Training e Agent permanecem como Allow.
• Se estava definido como Block: Search passa para Allow, Training para Disallow AI Training e Agent para Block on pages with ads.
• Se estava configurado como Block on pages with ads: mantém Search como Allow e restringe Training e Agent nas páginas monetizadas.

Sites com anúncios recebem uma recomendação diferente

Para novos domínios monetizados por publicidade, a configuração recomendada pela Cloudflare mantém Search em Allow, Training em Disallow AI Training e Agent em Block on pages with ads.

Em contrapartida, novos domínios que não dependem de publicidade recebem inicialmente uma configuração mais permissiva, com as três categorias em Allow.

Por que agentes de IA também ameaçam o modelo de publicidade

A diferença decorre do próprio modelo econômico. Um agente automatizado pode consumir a informação de uma página e entregar a resposta final sem que um usuário humano carregue os banners ou scripts de anúncios.

Assim, embora o site ainda suporte custos de infraestrutura e produção editorial, a visita que sustentaria a monetização pode deixar de ocorrer.

O que significa o novo selo Accountable

Paralelamente aos novos controles, a Cloudflare criou a classificação Accountable para identificar operadores de crawlers que atendem — ou assumem compromissos com prazo definido para atender — a requisitos de transparência e autonomia dos proprietários de conteúdo.

Os quatro requisitos criados pela Cloudflare

Para receber essa classificação, o operador deve atender ou se comprometer a atender quatro requisitos objetivos:

1. Oferecer mecanismo de opt-out de treinamento via robots.txt ou padrão equivalente.
2. Permitir opt-out específico de resumos gerados por inteligência artificial.
3. Fornecer transparência em nível de URL sobre o uso do conteúdo, além de métricas relacionadas à busca.
4. Garantir publicamente que a recusa ao treinamento não prejudique os resultados tradicionais de pesquisa.

Como Google, Apple e Microsoft tratam o opt-out

Nesse contexto, Apple, Google e Microsoft foram classificadas pela Cloudflare como operadores Accountable, embora cada companhia esteja em um estágio diferente de implementação de seus controles.

Googlebot e Google-Extended

O Google permite gerenciar determinados usos do conteúdo por IA por meio do token Google-Extended.

Segundo a documentação oficial da empresa, esse token permite aos publishers controlar o uso do conteúdo rastreado para treinamento de futuras gerações do Gemini e determinados usos de grounding. Além disso, o Google afirma que o Google-Extended não interfere na inclusão do site na Pesquisa Google nem funciona como sinal de ranqueamento.

Applebot e Applebot-Extended

A Apple oferece controle semelhante através do Applebot-Extended, além de respeitar diretivas relacionadas à apresentação do conteúdo, como nosnippet.

Segundo a própria Apple, impedir o Applebot-Extended não remove as páginas dos resultados de busca. No entanto, ferramentas completas de inspeção em nível de URL ainda estavam entre os pontos de transparência em desenvolvimento mencionados pela Cloudflare.

Bingbot, NOARCHIVE e a limitação que permanece até 2027

No caso da Microsoft, os proprietários de sites já podem usar controles como NOARCHIVE e NOCACHE, além das ferramentas disponibilizadas no Bing Webmaster Tools.

Contudo, segundo a Cloudflare, a Microsoft ainda trabalha em um mecanismo para reconhecer diretamente uma preferência de “não treinamento” no robots.txt em nível de domínio, com implementação prevista para o início de 2027.

Portanto, até que esse suporte seja concluído, o Disallow AI Training da Cloudflare não transmite automaticamente essa preferência ao Bingbot apenas por meio do robots.txt.

Bot Preference Sync substitui o Managed Robots.txt

Outra mudança importante está na administração dessas preferências. O novo Bot Preference Sync substitui o antigo Managed Robots.txt e procura manter o arquivo robots.txt alinhado às opções configuradas pelo administrador no painel da Cloudflare.

Em outras palavras, em vez de exigir que o proprietário mantenha manualmente diferentes regras para cada operador, a ferramenta traduz as preferências gerais de Search, Training e Agent para as diretivas compatíveis.

Escolhendo quem pode fazer uso do seu conteúdo

Os dados operacionais apresentados pela Cloudflare também ajudam a afastar a ideia de que proprietários de sites simplesmente desejam desaparecer dos mecanismos automatizados.

36,6% dos crawlers verificados já são de uso misto

Segundo dados divulgados pela Cloudflare em 15 de setembro de 2026, os robôs de uso misto representam 36,6% do tráfego de crawlers verificados observado na rede da empresa, tornando-se a maior categoria individual desse segmento.

Menos de 1% bloqueia Search, mas 17% restringe Training

Ao mesmo tempo, menos de 1% dos sites da rede da Cloudflare bloqueiam crawlers de busca, enquanto 17% adotam algum mecanismo para restringir treinamento de modelos.

Os números indicam, portanto, uma preferência muito maior por controle seletivo do uso do conteúdo do que por exclusão completa dos mecanismos de descoberta.

De SEO a AEO: o crawler deixou de garantir uma visita

Essa transformação também afeta a relação tradicional entre rastreamento e audiência. A migração de parte das estratégias de otimização tradicional, SEO, para a otimização voltada a mecanismos de resposta, AEO, altera o fluxo que historicamente levava o usuário da pesquisa até o site original.

Os mecanismos generativos podem sintetizar informações diretamente na interface de busca ou do assistente, reduzindo, em determinadas situações, a necessidade de clique para acessar a fonte.

A disputa não é apenas técnica, mas sobre o modelo econômico dos portais

Por isso, a discussão vai além da configuração de bots. O equilíbrio financeiro construído nas últimas três décadas está sendo renegociado entre criadores de conteúdo, mecanismos de busca e plataformas de inteligência artificial.

O antigo acordo entre indexação e tráfego

O pacto histórico da web era relativamente simples: o crawler acessava o conteúdo, o mecanismo organizava o índice e o criador recebia visitas qualificadas, que poderiam ser monetizadas por publicidade, assinaturas, vendas ou outros modelos.

A própria Cloudflare descreve esse modelo histórico ao discutir a passagem do crawl tradicional para uma internet cada vez mais mediada por inteligência artificial.

O que muda quando a IA responde sem enviar o usuário à fonte

Quando uma plataforma entrega a resposta pronta em experiências de pesquisa, painéis generativos ou ambientes de descoberta, o custo de criação e infraestrutura continua pertencendo ao site original, enquanto parte da visita potencial pode deixar de acontecer.

Mesmo produtos tradicionais de descoberta, como o Google Discover, fazem parte de um ecossistema em que distribuição, recomendação e acesso ao conteúdo são cada vez mais mediados por plataformas.

Pay Per Crawl, Pay Per Use e a tentativa de criar um mercado para conteúdo

Diante desse desequilíbrio, a Cloudflare também vem experimentando modelos de remuneração direta.

O Pay Per Crawl surgiu como uma tentativa de permitir que publishers cobrassem pelo acesso automatizado ao conteúdo. Entretanto, a empresa passou a argumentar que a quantidade de rastreamentos não representa necessariamente o valor real extraído de uma página.

Por isso, a Cloudflare começou a desenvolver a transição de Pay Per Crawl para Pay Per Use, buscando criar mecanismos em que a remuneração acompanhe o uso efetivo do conteúdo em sistemas de inteligência artificial.

Do bloqueio aos bots ao medo de bloquear Googlebot

A evolução da discussão também mudou o enfoque editorial sobre o tema. Em 2025, boa parte da cobertura destacava o confronto direto entre plataformas de IA, publishers e direitos autorais.

Já em 2026, a preocupação técnica passou a incluir um problema adicional: bloquear excessivamente os crawlers poderia atingir também mecanismos de busca tradicionais quando um mesmo agente fosse utilizado para mais de uma finalidade.

O que mudou entre o anúncio de julho e a implementação de setembro

Essa diferença ficou especialmente evidente entre os anúncios iniciais de julho e a implementação definitiva de setembro.

Em 1º de julho de 2026, a Cloudflare apresentou sua nova divisão entre Search, Training e Agent e antecipou mudanças que entrariam em vigor em 15 de setembro.

Na versão final, entretanto, a empresa acrescentou o Disallow AI Training e a classificação Accountable, criando uma alternativa destinada justamente a preservar a descoberta por mecanismos de busca enquanto o treinamento é recusado.

A próxima disputa será sobre resumos de IA

A fronteira seguinte dessa governança envolve os chamados AI Summaries, ou resumos produzidos por inteligência artificial.

Segundo a Cloudflare, todos os operadores classificados como Accountable precisam oferecer mecanismos para que proprietários de sites possam recusar esse tipo de uso.

Além disso, a empresa afirma que pretende avançar, no início de 2027, para controles mais granulares capazes de definir não apenas se um resumo pode existir, mas também quanto do conteúdo de um site pode aparecer nessas experiências.

Cloudflare começa a transformar intenção de crawler em política de acesso

Assim, a principal mudança não está simplesmente em bloquear mais robôs. Ao transformar preferências editoriais em políticas diferenciadas de acesso e associá-las a mecanismos de aplicação na borda da rede, a Cloudflare tenta criar uma camada intermediária de governança entre publishers e operadores de inteligência artificial.

O ecossistema caminha, portanto, para uma realidade em que descoberta, treinamento e atuação de agentes deixam de ser tratados como uma única permissão. A busca pode continuar aberta enquanto outros usos do conteúdo passam a depender de escolhas mais explícitas de quem o produz.