Camada do framework Arquitetura Cognitiva do SEO
Desde 15 de setembro de 2026, a decisão de deixar entrar ou barrar, que até então ficava por omissão, ganhou um padrão definido por terceiros.
Atualizado em 28/09/2026. No próprio dia 15, a Cloudflare publicou uma configuração que separa o bloqueio de treinamento da visibilidade em busca, e ela muda a saída para a armadilha do crawler multipropósito. O que mudou está na seção sobre a categoria Accountable, logo depois do caso do Google.
As quatro funções de bot de IA que se confundem
A discussão pública trata bot de IA como categoria única, e o efeito de bloquear cada tipo é completamente distinto. Quatro funções precisam ser separadas antes de qualquer decisão.
| Função | O que o bot faz | O que você perde ao bloquear |
|---|---|---|
| Treinamento | Coleta conteúdo para treinar modelos. O uso é futuro e difuso. | Nada de imediato em tráfego. Perde participação no corpus que forma o conhecimento do modelo. |
| Busca e indexação | Monta o índice que alimenta respostas com citação, no estilo de um buscador. | Citação e link em respostas geradas. É a perda mais cara para quem quer visibilidade. |
| Agente a pedido | Busca a página no momento em que uma pessoa pede algo ao assistente. | Acesso do seu próprio público quando ele usa um assistente para chegar até você. |
| Dupla função | Um mesmo user agent alimenta busca tradicional e recursos de IA. | Presença na busca tradicional junto com a de IA, porque o bloqueio atinge as duas. |
Quem é quem, bot por bot e operador por operador
A decisão de bloquear ou permitir só começa a fazer sentido depois de saber qual agente faz o quê, e a identificação costuma ser a etapa pulada. Um mesmo operador mantém rastreadores diferentes, com finalidades diferentes, e o nome do agente nem sempre diz qual é qual.
| Operador | User agent | Categoria |
|---|---|---|
| OpenAI | GPTBot | AI Crawler, treinamento |
| OpenAI | OAI-SearchBot | AI Search, indexação para citação |
| OpenAI | ChatGPT-User | AI Assistant, busca a pedido |
| Anthropic | ClaudeBot | AI Crawler, treinamento |
| Anthropic | Claude-SearchBot | AI Search |
| Anthropic | Claude-User | AI Assistant |
| Perplexity | PerplexityBot | AI Search |
| Perplexity | Perplexity-User | AI Assistant |
| Googlebot | Buscador | |
| Google-CloudVertexBot | AI Crawler, a pedido do dono do site | |
| Microsoft | bingbot | Buscador |
| Apple | Applebot | AI Search |
| Meta | meta-externalagent | AI Crawler |
| Meta | meta-externalfetcher | AI Assistant |
| Meta | FacebookBot | AI Crawler |
| ByteDance | Bytespider | AI Crawler |
| Common Crawl | CCBot | AI Crawler |
| Amazon | Amazonbot | AI Crawler |
| DuckDuckGo | DuckAssistBot | AI Assistant |
| Mistral | MistralAI-User | AI Assistant |
A tabela serve de ponto de partida e envelhece. Operadores lançam agente novo, renomeiam o antigo e mudam a finalidade de um existente sem aviso público. Conferir na referência da Cloudflare antes de escrever qualquer regra é o passo que evita bloquear a coisa errada.
A armadilha do crawler multipropósito
O agente que declara uma função só é fácil de tratar. A dificuldade aparece no que reúne duas funções sob a mesma identidade, porque a regra escrita para uma delas atinge a outra junto, sem que nada no painel avise.
A consequência é assimétrica, e é isso que torna o erro caro. Bloquear o agente que também faz busca tira o site das respostas com link, que é justamente a superfície a ocupar, e não impede a coleta feita por quem ignora a diretiva. Some a parte que interessa e permanece a que se queria evitar.
O caso do Google, que quase todo mundo erra
O erro mais comum desta lista nasce de uma suposição razoável: a de que existe um rastreador específico do Google para inteligência artificial, e que barrá-lo resolve a questão de treinamento sem tocar na busca. A documentação descreve outro arranjo.
A diferença entre os dois controles é de camada. Um trata do uso do conteúdo depois da coleta, o outro trata da exibição no resultado. Tratar os dois como sinônimos é o que produz o bloqueio que tira a marca da resposta sem proteger nada. A regra prática é escrever cada diretiva sabendo qual das duas coisas ela governa, e conferir o efeito na Search Console depois, em vez de supor pelo nome do agente.
O que mudou em 15 de setembro: a categoria Accountable
A configuração nova resolve parte do problema descrito nas duas seções anteriores, com uma condição que precisa ser entendida antes de ligar.
Para quem estava preso na armadilha do crawler multipropósito, isso cria uma rota documentada: a preferência de não treinamento vai para o robots.txt, e Googlebot, Bingbot e Applebot seguem indexando. A condição está no critério de entrada da lista, que é curada por um fornecedor. Um operador que reúne busca e treinamento sob a mesma identidade e não recebeu a designação perde as duas coisas quando a configuração é ligada.
Quando bloquear cada tipo de bot, por negócio
Não existe resposta única, porque o que está em jogo muda com o modelo de receita. Um site que vive de publicidade perde dinheiro quando a resposta é dada sem visita. Um site que vende serviço complexo pode ganhar ao aparecer na resposta mesmo sem clique, porque a decisão acontece depois e em outro lugar.
| Tipo de negócio | Treinamento | Busca e agente |
|---|---|---|
| Mídia com anúncio | Bloquear. O conteúdo é o produto e o retorno do treinamento é zero. | Permitir busca. Avaliar agente conforme a política de paywall. |
| E-commerce | Permitir ou bloquear conforme a política de catálogo. | Permitir os dois. Citação em resposta e agente de compra são canal de venda. |
| SaaS e serviços | Bloquear treinamento faz pouca diferença prática. | Permitir os dois. A citação é o principal ganho de descoberta. |
| Consultoria e marca pessoal | Permitir. Estar no corpus favorece ser lembrada pelo modelo. | Permitir os dois, sem exceção. |
| Conteúdo pago ou sob assinatura | Bloquear. | Permitir busca apenas nas páginas abertas, com o restante protegido por autenticação. |
A tabela organiza a decisão por tipo de negócio e serve para abrir a conversa. A escolha final depende de duas contas que só o cliente tem: quanto da receita depende de visita, e quanto depende de ser considerada antes da visita.
Um robots.txt que separa treinamento de busca
O exemplo abaixo aplica a separação da tabela para um site que quer sair do treinamento de modelos e continuar aparecendo em busca e em resposta com link. Os nomes são os que os operadores documentam hoje e mudam com o tempo, então a lista precisa ser conferida na referência da Cloudflare antes de ir para produção.
# Treinamento de modelo: bloqueado (decisão registrada em AAAA-MM-DD)
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Busca em sistemas de IA: liberada
User-agent: OAI-SearchBot
Allow: /Duas observações sobre o exemplo. O Google-Extended entra como token de controle, sem rastreador próprio, como mostra a seção sobre o Google. E o acesso que uma pessoa dispara de dentro do assistente segue outra regra, descrita pelo próprio operador:
Por isso ele fica fora do arquivo. Escrever uma regra para ele daria a impressão de um bloqueio que a documentação não garante.
O erro de bloqueio que eu mais encontro em auditoria
Não confio em robots.txt com quarenta linhas de exceção. Quem escreve quarenta linhas de pedido educado costuma não ter aberto o log para ver quem entrou ignorando as quarenta.
É o bloqueio genérico de tudo que tem nome de IA no robots.txt, escrito em uma tarde, sem separar treinamento de busca. O resultado é uma marca que sai das respostas geradas e continua no corpus dos modelos que ignoram robots.txt, o que junta o pior dos dois cenários.
O segundo erro mais comum é o oposto, e vem de omissão: deixar tudo aberto sem saber quem entra e descobrir a resposta apenas quando o custo de banda aparece na fatura.
Content Use Signals no robots.txt
O mesmo anúncio trouxe um segundo mecanismo, menos comentado e mais interessante a médio prazo. Em lugar de permitir ou barrar o acesso, ele declara o que pode ser feito com o conteúdo depois que o acesso já aconteceu.
Vale implementar mesmo com adesão parcial, por dois motivos. O custo é uma linha no robots.txt, e a declaração registrada tem valor jurídico potencial que a omissão não tem. O que não se sustenta é apresentar isso ao cliente como bloqueio efetivo.
O llms.txt costuma entrar nessa mesma conversa, como se fosse outra forma de sinal para sistemas de IA. O estado dele é mais modesto do que a forma como circula.
Publicar custa pouco e funciona como mapa para quem decidir ler. Controle de acesso ele não oferece, e nenhum efeito sobre citação foi medido em público até esta atualização.
O que conferir depois de 15 de setembro
- Levantar quais bots acessam o seu site hoje, com registro de acesso ou com o painel de controle de crawlers de IA da sua CDN.
- Separar a decisão em duas: treinamento é uma escolha de propriedade intelectual, busca e agente são uma escolha de distribuição.
- Conferir se o seu domínio se enquadra no padrão novo, o que depende de ser domínio novo na Cloudflare e de exibir anúncios.
- Antes de ligar qualquer bloqueio de treinamento, conferir se ele alcança rastreador de dupla função, e tratar Googlebot, Applebot e Bingbot como caso à parte.
- Avaliar a configuração Disallow AI Training e conferir se algum rastreador que interessa para a sua distribuição ficou fora da lista Accountable.
- Documentar a decisão no robots.txt com comentário datado, para que a próxima pessoa entenda a intenção sem precisar adivinhar.
Continue pela camada Arquitetura Cognitiva do SEO
Referências
Cada fonte foi conferida na data de acesso indicada.
-
Artigo
Your site, your rules: new AI traffic options for all customers
Cloudflare Blog · 01/07/2026
-
Documentação oficial
Cloudflare AI Crawl Control docs
-
Documentação oficial
List of Google's common crawlers
Google for Developers
-
Documentação oficial
Google Search Central
-
Artigo
Have it both ways: stay discoverable in search while disallowing AI training
Cloudflare Blog · 15/09/2026
-
Documentação oficial
OpenAI
-
Documentação oficial
HOWARD, Jeremy · llmstxt.org · 03/09/2024
