¿Por qué «permitir o bloquear» es la pregunta equivocada para los rastreadores de IA?
La pregunta útil es qué hace cada rastreador con tu contenido. Algunos rastreadores de IA recopilan material que puede utilizarse para entrenar modelos. Otros visitan páginas para que un asistente pueda buscarlas, leerlas y citarlas cuando un usuario hace una pregunta. Tratarlos como una sola categoría obliga a un compromiso que no tiene por qué existir.
En el caso de un equipo B2B, el coste de bloquear en exceso suele ser mayor que el de permitir el acceso para la búsqueda. Si tus páginas de producto, las páginas comparativas y la documentación son invisibles para los motores de respuestas, los compradores que pidan a los asistentes listas de proveedores nunca verán tu marca. El objetivo es decidir, rastreador por rastreador, qué finalidad aceptas.
Un marco práctico tiene tres niveles: acceso para el entrenamiento, acceso para la búsqueda y la citación, y recuperación iniciada por el usuario. Define una decisión por nivel y después plásmala en robots.txt. Revisa las decisiones cuando los proveedores actualicen su documentación, porque los nombres de los rastreadores y su comportamiento pueden cambiar.
¿Qué son GPTBot, OAI-SearchBot y ChatGPT-User, y cuál deberías permitir?
GPTBot es el rastreador de OpenAI asociado a la recopilación de datos para entrenamiento. OAI-SearchBot está asociado a la búsqueda de ChatGPT, por lo que indexa contenido que puede aparecer en las respuestas de búsqueda. ChatGPT-User se utiliza cuando una persona pide a ChatGPT que abra una página durante una conversación. Cada uno tiene una finalidad distinta y, según la documentación de rastreadores de OpenAI, cada uno se controla de forma diferente.
Una decisión habitual para las marcas B2B es bloquear GPTBot, permitir OAI-SearchBot y tratar ChatGPT-User como una solicitud iniciada por el usuario. Consulta la documentación actual de OpenAI antes de cerrar las reglas, porque los detalles de cómo cada agente gestiona robots.txt son el tipo de cosa que los proveedores revisan.
| Rastreador | Finalidad principal | Decisión habitual para un sitio B2B | Qué implica el bloqueo |
|---|---|---|---|
| GPTBot | Recopilación de datos para entrenamiento | Bloquear si no quieres que se usen tus datos para entrenar | Detiene la recopilación para entrenamiento; por sí solo no elimina la visibilidad en la búsqueda |
| OAI-SearchBot | Indexación para la búsqueda de ChatGPT | Permitir si quieres ser citado | El bloqueo puede mantener tus páginas fuera de los resultados de búsqueda de ChatGPT |
| ChatGPT-User | Obtención de una página a petición del usuario | Normalmente es una decisión de producto, no de entrenamiento | Puede que robots.txt no lo regule de la misma forma que a los rastreadores |
¿Bloquear Google-Extended afecta a la Búsqueda de Google o a las AI Overviews?
Bloquear Google-Extended no elimina tus páginas de la Búsqueda de Google habitual y, según la documentación de Google, no afecta a su inclusión en las AI Overviews. Google-Extended es un token de robots.txt que controla si el contenido rastreado por Google puede utilizarse para entrenar los modelos de Gemini y para ciertos usos de anclaje (grounding). No es un rastreador independiente que descargue tus páginas.
El riesgo está en confundirlo con Googlebot. Si bloqueas Googlebot, tus páginas dejan de aparecer en la Búsqueda y en las funciones de IA que dependen de ella. Bloquear Google-Extended solo indica que tu contenido no debe usarse para el entrenamiento de Gemini ni para usos relacionados.
Antes de cambiar nada, confirma explícitamente tus reglas para Googlebot. Una directiva Disallow amplia para todos los user agents, copiada de una plantilla antigua, es el motivo más habitual por el que un sitio desaparece de Google cuando el equipo solo pretendía excluirse del entrenamiento de IA.
¿Cómo escribir reglas de robots.txt que permitan la citación pero excluyan el entrenamiento?
Escribe un grupo User-agent independiente para cada rastreador de IA que quieras controlar, y mantén los grupos de Googlebot y Bingbot para la búsqueda normal. Las reglas se aplican por grupo, así que una directiva Disallow bajo GPTBot no afecta a OAI-SearchBot. Mantén el archivo en la raíz de cada hostname, porque las reglas de robots.txt no se aplican automáticamente a los subdominios.
Las reglas siguientes son un patrón de partida para un equipo que quiere excluirse del entrenamiento pero seguir siendo citado. Ajústalas a tu postura sobre el entrenamiento y no las copies sin revisar qué rutas quieres proteger realmente.
- User-agent: GPTBot / Disallow: /
- User-agent: Google-Extended / Disallow: /
- User-agent: OAI-SearchBot / Allow: /
- User-agent: PerplexityBot / Allow: /
- User-agent: Googlebot / Allow: /
- User-agent: * / Disallow: /account/ and /staging/
- Audita tu robots.txt actual y anota las reglas amplias bajo el user agent asterisco, ya que también se aplican a los rastreadores de IA.
- Añade un grupo para GPTBot con Disallow: / si quieres excluirte del entrenamiento de OpenAI.
- Añade un grupo para Google-Extended con Disallow: / si quieres excluirte del entrenamiento de Gemini. Mantén Googlebot sin restricciones.
- Añade un grupo para OAI-SearchBot y PerplexityBot con Allow: / para que su acceso a la búsqueda quede explícito.
- Protege las rutas privadas, como las áreas de cuenta, las carpetas de staging y los resultados de búsqueda interna, con reglas Disallow que se apliquen a todos los agentes.
- Prueba el archivo en tus herramientas de Search Console y en un validador de robots.txt, luego publícalo y vuelve a comprobarlo después de cada actualización del sitio.
¿Qué rastreadores de IA respetan robots.txt y cuáles podrían no hacerlo?
Los principales operadores de IA que publican documentación de sus rastreadores suelen indicar que sus rastreadores declarados respetan robots.txt. Esas declaraciones son el punto de partida, pero son compromisos, no garantías, y la redacción de cada proveedor debe comprobarse en su propia documentación.
Robots.txt es una directriz, no una barrera. Funciona porque los rastreadores bien comportados deciden leerlo. Algunas peticiones iniciadas por el usuario, y algunas solicitudes realizadas a través de herramientas de terceros, podrían no seguir las mismas reglas. Informes de terceros también han denunciado que ciertos motores de respuestas han obtenido contenido con agentes de usuario que no coincidían con sus nombres declarados. Considera cualquier cadena de agente de usuario como una afirmación hasta que la hayas verificado.
Si necesitas hacer cumplir una restricción, robots.txt por sí solo no basta. Usa autenticación para el contenido privado, límites de tasa o un cortafuegos de aplicaciones web para el tráfico abusivo, y asume internamente, con honestidad, que una regla publicada es una señal, no un candado.
¿Cómo compruebas que una petición de PerplexityBot o GPTBot es auténtica?
Verificar significa comprobar que la petición procede de una dirección IP que pertenece al operador declarado. Una cadena de agente de usuario es fácil de copiar, así que por sí sola no demuestra nada. Los principales operadores que ejecutan rastreadores dedicados han publicado listas de rangos de IP, y Google documenta cómo verificar Googlebot mediante una búsqueda DNS inversa seguida de una búsqueda DNS directa.
La comprobación es sencilla de realizar desde una terminal o una herramienta de análisis de logs. Compara las direcciones IP de tus logs con la lista publicada por el operador y trata como no verificada cualquier petición que afirme un nombre pero proceda de fuera de esos rangos. Guarda un registro de la fecha en que descargaste cada lista, porque los rangos cambian.
- Extrae de los logs de tu servidor las peticiones cuyo agente de usuario contenga GPTBot, OAI-SearchBot, PerplexityBot, Perplexity-User o Googlebot.
- Recopila las direcciones IP de origen únicas para cada nombre declarado.
- Para cada operador que publique rangos, comprueba si la IP está dentro de los rangos publicados.
- En el caso de Googlebot, realiza una búsqueda DNS inversa de la IP y confirma que el nombre de host pertenece a Google; después, realiza una búsqueda DNS directa para confirmar que resuelve de nuevo a la misma IP.
- Clasifica cada origen como verificado, no verificado o sin lista publicada, y confía solo en los recuentos de rastreo procedentes de orígenes verificados.
- Repite la comprobación mensualmente, ya que con el tiempo aparecen nuevas direcciones IP y nuevos agentes de usuario.
¿Cómo se confirma en los logs del servidor que los rastreadores de IA llegan a tus páginas B2B clave?
Los logs del servidor muestran qué solicitaron los rastreadores, cuándo y qué código de estado devolvió tu servidor. En un sitio B2B, filtra esas solicitudes hasta las páginas que generan pipeline, como las de producto, precios, integraciones, seguridad y comparativas, y comprueba si los rastreadores de IA llegan a ellas. Un rastreador que nunca solicita una página clave no puede usarla como cita, independientemente de lo que indique tu robots.txt.
Fíjate en tres aspectos: qué user agents de IA aparecen, qué rutas de URL solicitan y si esas solicitudes devuelven un estado 200. Las respuestas frecuentes 403, 404 o 5xx a rastreadores de IA verificados apuntan a problemas de acceso, como una regla del cortafuegos o una plantilla rota, y no a una decisión tomada en el robots.txt.
- Exporta los logs de acceso sin procesar durante al menos un periodo representativo y confirma la zona horaria.
- Filtra los user agents de IA y separa las solicitudes verificadas de las no verificadas con el método anterior.
- Cuenta las solicitudes por ruta de URL, agrupándolas por tipo de página como producto, artículo, documentación y legal.
- Revisa los códigos de estado devueltos a cada rastreador verificado y corrige cualquier patrón de errores 4xx o 5xx.
- Compara las rutas solicitadas con las páginas que quieres que se citen y vincula las carencias con tu enlazado interno y tu sitemap.
- Registra los resultados para poder compararlos tras cada cambio en el robots.txt o en la estructura del sitio.
Dónde encaja Rixe
La revisión manual de logs es útil para una primera auditoría, pero no muestra cómo los motores de respuesta describen tu marca ante las preguntas que hacen los compradores. Una plataforma de visibilidad en IA como Rixe mide cómo los asistentes mencionan y citan una marca para un conjunto de prompts, lo que permite comprobar si el acceso de los rastreadores se traduce en visibilidad.