Capa del framework Arquitectura Cognitiva del SEO
Desde el 15 de septiembre de 2026, la decisión de dejar entrar o bloquear, que hasta entonces se tomaba por omisión, tiene un patrón definido por terceros.
Actualizado el 28/09/2026. El mismo día 15, Cloudflare publicó una configuración que separa el bloqueo de entrenamiento de la visibilidad en búsqueda, y eso cambia la salida para la trampa del crawler multipropósito. Lo que cambió está en la sección sobre la categoría Accountable, justo después del caso de Google.
Las cuatro funciones de bot de IA que se confunden
La discusión pública trata a los bots de IA como una categoría única, y el efecto de bloquear cada tipo es completamente distinto. Hay que separar cuatro funciones antes de cualquier decisión.
| Función | Qué hace el bot | Qué pierdes al bloquearlo |
|---|---|---|
| Entrenamiento | Recolecta contenido para entrenar modelos. El uso es futuro y difuso. | Nada inmediato en tráfico. Pierdes participación en el corpus que forma el conocimiento del modelo. |
| Búsqueda e indexación | Arma el índice que alimenta respuestas con cita, al estilo de un buscador. | Citas y enlaces en respuestas generadas. Es la pérdida más cara para quien quiere visibilidad. |
| Agente a pedido | Busca la página en el momento en que una persona le pide algo al asistente. | El acceso de tu propio público cuando usa un asistente para llegar a ti. |
| Doble función | Un mismo user agent alimenta la búsqueda tradicional y los recursos de IA. | Presencia en la búsqueda tradicional junto con la de IA, porque el bloqueo alcanza a las dos. |
Quién es quién, bot por bot y operador por operador
La decisión de bloquear o permitir solo empieza a tener sentido después de saber qué agente hace qué, y la identificación suele ser la etapa que se saltea. Un mismo operador mantiene rastreadores distintos, con finalidades distintas, y el nombre del agente no siempre dice cuál es cuál.
| Operador | User agent | Categoría |
|---|---|---|
| OpenAI | GPTBot | AI Crawler, entrenamiento |
| OpenAI | OAI-SearchBot | AI Search, indexación para cita |
| OpenAI | ChatGPT-User | AI Assistant, búsqueda a pedido |
| Anthropic | ClaudeBot | AI Crawler, entrenamiento |
| Anthropic | Claude-SearchBot | AI Search |
| Anthropic | Claude-User | AI Assistant |
| Perplexity | PerplexityBot | AI Search |
| Perplexity | Perplexity-User | AI Assistant |
| Googlebot | Buscador | |
| Google-CloudVertexBot | AI Crawler, a pedido del dueño del sitio | |
| Microsoft | bingbot | Buscador |
| Apple | Applebot | AI Search |
| Meta | meta-externalagent | AI Crawler |
| Meta | meta-externalfetcher | AI Assistant |
| Meta | FacebookBot | AI Crawler |
| ByteDance | Bytespider | AI Crawler |
| Common Crawl | CCBot | AI Crawler |
| Amazon | Amazonbot | AI Crawler |
| DuckDuckGo | DuckAssistBot | AI Assistant |
| Mistral | MistralAI-User | AI Assistant |
La tabla sirve como punto de partida y envejece. Los operadores lanzan agentes nuevos, renombran los viejos y cambian la finalidad de los existentes sin aviso público. Revisar la referencia de Cloudflare antes de escribir cualquier regla es el paso que evita bloquear lo que no era.
La trampa del crawler multipropósito
El agente que declara una sola función es fácil de tratar. La dificultad aparece con el que reúne dos funciones bajo la misma identidad, porque la regla escrita para una de ellas alcanza también a la otra, sin que nada en el panel avise.
La consecuencia es asimétrica, y eso es lo que encarece el error. Bloquear al agente que también hace búsqueda saca al sitio de las respuestas con enlace, que es justamente la superficie que interesa ocupar, y no impide la recolección de quien ignora la directiva. Desaparece la parte que importa y queda la que se quería evitar.
El caso de Google, que casi todo el mundo erra
El error más común de esta lista nace de una suposición razonable: que existe un rastreador específico de Google para inteligencia artificial, y que bloquearlo resuelve la cuestión del entrenamiento sin tocar la búsqueda. La documentación describe otro arreglo.
La diferencia entre los dos controles es de capa. Uno trata del uso del contenido después de la recolección, el otro de la exhibición en el resultado. Tratarlos como sinónimos es lo que produce el bloqueo que saca a la marca de la respuesta sin proteger nada. La regla práctica es escribir cada directiva sabiendo cuál de las dos cosas gobierna, y revisar el efecto en Search Console después, en lugar de suponerlo por el nombre del agente.
Qué cambió el 15 de septiembre: la categoría Accountable
La configuración nueva resuelve parte del problema descrito en las dos secciones anteriores, con una condición que hay que entender antes de activarla.
Para quien estaba atrapado en la trampa del crawler multipropósito, esto crea una ruta documentada: la preferencia de no entrenamiento va al robots.txt, y Googlebot, Bingbot y Applebot siguen indexando. La condición está en el criterio de entrada a la lista, que cura un proveedor. Un operador que reúne búsqueda y entrenamiento bajo la misma identidad y no recibió la designación pierde las dos cosas cuando se activa la configuración.
Cuándo bloquear cada tipo de bot, según el negocio
No hay una respuesta única, porque lo que está en juego cambia con el modelo de ingresos. Un sitio que vive de publicidad pierde dinero cuando la respuesta se da sin visita. Un sitio que vende un servicio complejo puede ganar al aparecer en la respuesta incluso sin clic, porque la decisión ocurre después y en otro lugar.
| Tipo de negocio | Entrenamiento | Búsqueda y agente |
|---|---|---|
| Medios con anuncios | Bloquear. El contenido es el producto y el retorno del entrenamiento es cero. | Permitir búsqueda. Evaluar agentes según la política de muro de pago. |
| E-commerce | Permitir o bloquear según la política de catálogo. | Permitir los dos. La cita en respuestas y el agente de compra son canal de venta. |
| SaaS y servicios | Bloquear el entrenamiento hace poca diferencia práctica. | Permitir los dos. La cita es la principal ganancia de descubrimiento. |
| Consultoría y marca personal | Permitir. Estar en el corpus favorece que el modelo te recuerde. | Permitir los dos, sin excepción. |
| Contenido pago o por suscripción | Bloquear. | Permitir búsqueda solo en las páginas abiertas, con el resto protegido por autenticación. |
La tabla organiza la decisión por tipo de negocio y sirve para abrir la conversación. La elección final depende de dos cuentas que solo tiene el cliente: cuánto de los ingresos depende de la visita, y cuánto depende de ser considerado antes de la visita.
Un robots.txt que separa entrenamiento de búsqueda
El ejemplo de abajo aplica la separación de la tabla a un sitio que quiere salir del entrenamiento de modelos y seguir apareciendo en búsqueda y en respuestas con enlace. Los nombres son los que los operadores documentan hoy y cambian con el tiempo, así que la lista tiene que revisarse en la referencia de Cloudflare antes de ir a producción.
# Entrenamiento de modelos: bloqueado (decisión registrada el AAAA-MM-DD)
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Búsqueda en sistemas de IA: habilitada
User-agent: OAI-SearchBot
Allow: /Dos observaciones sobre el ejemplo. Google-Extended entra como token de control, sin rastreador propio, como muestra la sección sobre Google. Y el acceso que una persona dispara desde dentro del asistente sigue otra regla, descrita por el propio operador:
Por eso queda fuera del archivo. Escribir una regla para él daría la impresión de un bloqueo que la documentación no garantiza.
El error de bloqueo que más encuentro en auditorías
No confío en un robots.txt con cuarenta líneas de excepción. Quien escribe cuarenta líneas de pedido educado suele no haber abierto el log para ver quién entró ignorando las cuarenta.
El error es el bloqueo genérico de todo lo que tiene nombre de IA en el robots.txt, escrito en una tarde, sin separar entrenamiento de búsqueda. El resultado es una marca que sale de las respuestas generadas y sigue en el corpus de los modelos que ignoran el robots.txt, lo que junta lo peor de los dos escenarios.
El segundo error más común es el opuesto, y viene de la omisión: dejar todo abierto sin saber quién entra y descubrir la respuesta recién cuando el costo de ancho de banda aparece en la factura.
Content Use Signals en el robots.txt
El mismo anuncio trajo un segundo mecanismo, menos comentado y más interesante a mediano plazo. En lugar de permitir o bloquear el acceso, declara qué se puede hacer con el contenido después de que el acceso ya ocurrió.
Vale implementarlo incluso con adhesión parcial, por dos motivos. El costo es una línea en el robots.txt, y la declaración registrada tiene un valor jurídico potencial que la omisión no tiene. Lo que no se sostiene es presentárselo al cliente como bloqueo efectivo.
El llms.txt suele entrar en esta misma conversación, como si fuera otra forma de señal para sistemas de IA. Su estado real es más modesto que la forma en que circula.
Publicarlo cuesta poco y funciona como mapa para quien decida leerlo. No ofrece control de acceso, y ningún efecto sobre la cita había sido medido públicamente hasta esta actualización.
Qué revisar después del 15 de septiembre
- Relevar qué bots acceden hoy a tu sitio, con registros de acceso o con el panel de control de crawlers de IA de tu CDN.
- Separar la decisión en dos: el entrenamiento es una elección de propiedad intelectual, la búsqueda y el agente son una elección de distribución.
- Revisar si tu dominio entra en el patrón nuevo, lo que depende de ser un dominio nuevo en Cloudflare y de mostrar anuncios.
- Antes de activar cualquier bloqueo de entrenamiento, revisar si alcanza a un rastreador de doble función, y tratar a Googlebot, Applebot y Bingbot como caso aparte.
- Evaluar la configuración Disallow AI Training y revisar si algún rastreador que importa para tu distribución quedó fuera de la lista Accountable.
- Documentar la decisión en el robots.txt con un comentario fechado, para que la próxima persona entienda la intención sin tener que adivinar.
Sigue por la capa Arquitectura Cognitiva del SEO
Referencias
Cada fuente fue verificada en la fecha de acceso indicada.
-
Artículo
Your site, your rules: new AI traffic options for all customers
Cloudflare Blog · 01/07/2026
-
Documentación oficial
Cloudflare AI Crawl Control docs
-
Documentación oficial
List of Google's common crawlers
Google for Developers
-
Documentación oficial
Google Search Central
-
Artículo
Have it both ways: stay discoverable in search while disallowing AI training
Cloudflare Blog · 15/09/2026
-
Documentación oficial
OpenAI
-
Documentación oficial
HOWARD, Jeremy · llmstxt.org · 03/09/2024
