Pourquoi « autoriser ou bloquer » n'est-il pas la bonne question pour les robots d'IA ?
La bonne question est de savoir ce que chaque robot fait de votre contenu. Certains robots d'IA collectent des contenus susceptibles de servir à entraîner des modèles. D'autres consultent les pages pour qu'un assistant puisse effectuer une recherche, lire et citer ces pages lorsqu'un utilisateur pose une question. Traiter ces robots comme une seule catégorie impose un arbitrage qui n'a pas lieu d'être.
Pour une équipe B2B, le coût d'un blocage excessif est généralement plus élevé que celui d'un accès accordé à la recherche. Si vos pages produit, vos pages comparatives et votre documentation sont invisibles pour les moteurs de réponse, les acheteurs qui demandent à des assistants des listes de fournisseurs ne verront jamais votre marque. L'objectif est de décider, robot par robot, quel usage vous acceptez.
Un cadre opérationnel repose sur trois niveaux : l'accès à l'entraînement, l'accès à la recherche et à la citation, et la récupération déclenchée par l'utilisateur. Rédigez une décision par niveau, puis traduisez-la dans le fichier robots.txt. Réexaminez ces décisions lorsque les éditeurs mettent à jour leur documentation, car les noms des robots et leur comportement peuvent évoluer.
Qu'est-ce que GPTBot, OAI-SearchBot et ChatGPT-User, et lesquels faut-il autoriser ?
GPTBot est le robot d'OpenAI associé à la collecte de données d'entraînement. OAI-SearchBot est associé à la recherche ChatGPT : il indexe donc des contenus susceptibles d'apparaître dans les réponses de recherche. ChatGPT-User intervient lorsqu'une personne demande à ChatGPT d'ouvrir une page au cours d'une conversation. Chacun a un usage différent et, selon la documentation des robots d'OpenAI, chacun se contrôle de manière distincte.
Une décision courante pour les marques B2B consiste à interdire GPTBot, à autoriser OAI-SearchBot et à considérer ChatGPT-User comme une requête déclenchée par l'utilisateur. Vérifiez la documentation actuelle d'OpenAI avant de finaliser vos règles, car les détails de la façon dont chaque agent gère le fichier robots.txt sont le type d'éléments que les éditeurs révisent.
| Robot | Usage principal | Décision type pour un site B2B | Effet du blocage |
|---|---|---|---|
| GPTBot | Collecte de données d'entraînement | Interdire si vous refusez l'entraînement | Arrête la collecte pour l'entraînement ; ne supprime pas à lui seul la visibilité dans la recherche |
| OAI-SearchBot | Indexation pour la recherche ChatGPT | Autoriser si vous souhaitez être cité | Le blocage peut écarter vos pages des résultats de recherche ChatGPT |
| ChatGPT-User | Récupération d'une page à la demande de l'utilisateur | En général une décision produit, pas une décision liée à l'entraînement | Peut ne pas être régi par robots.txt de la même manière que les robots d'exploration |
Le blocage de Google-Extended affecte-t-il Google Search ou les AI Overviews ?
Bloquer Google-Extended ne retire pas vos pages de la recherche Google classique et, selon la documentation de Google, n'affecte pas leur présence dans les AI Overviews. Google-Extended est un jeton robots.txt qui contrôle si le contenu déjà exploré par Google peut servir à entraîner les modèles Gemini et à certains usages d'ancrage. Ce n'est pas un robot d'exploration distinct qui récupère vos pages.
Le risque vient de la confusion avec Googlebot. Si vous interdisez Googlebot, vos pages disparaissent de Search ainsi que des fonctionnalités d'IA qui s'appuient sur Search. Interdire Google-Extended indique seulement que votre contenu ne doit pas être utilisé pour l'entraînement de Gemini ni pour les usages associés.
Avant de modifier quoi que ce soit, vérifiez explicitement vos règles pour Googlebot. Une directive Disallow générale pour tous les user agents, copiée d'un ancien modèle, est la cause la plus fréquente de disparition d'un site de Google alors que l'équipe voulait seulement se désengager de l'entraînement de l'IA.
Comment écrire des règles robots.txt qui autorisent la citation tout en refusant l'entraînement ?
Créez un groupe User-agent distinct pour chaque robot d'IA que vous souhaitez contrôler, et conservez des groupes Googlebot et Bingbot pour la recherche classique. Les règles sont appliquées par groupe : une directive Disallow sous GPTBot n'affecte donc pas OAI-SearchBot. Gardez le fichier à la racine de chaque hôte, car les règles robots.txt ne s'appliquent pas automatiquement aux sous-domaines.
Les règles ci-dessous constituent un modèle de départ pour une équipe qui refuse l'entraînement mais souhaite être citée. Adaptez-les à votre position sur l'entraînement, et ne les copiez pas sans vérifier les chemins que vous voulez réellement protéger.
- User-agent: GPTBot / Disallow: /
- User-agent: Google-Extended / Disallow: /
- User-agent: OAI-SearchBot / Allow: /
- User-agent: PerplexityBot / Allow: /
- User-agent: Googlebot / Allow: /
- User-agent: * / Disallow: /account/ and /staging/
- Auditez votre robots.txt actuel et repérez les règles générales sous l'user agent astérisque, car elles s'appliquent aussi aux robots d'IA.
- Ajoutez un groupe pour GPTBot avec Disallow: / si vous refusez l'entraînement d'OpenAI.
- Ajoutez un groupe pour Google-Extended avec Disallow: / si vous refusez l'entraînement de Gemini. Laissez Googlebot sans restriction.
- Ajoutez un groupe pour OAI-SearchBot et PerplexityBot avec Allow: / afin que leur accès à la recherche soit explicite.
- Protégez les chemins privés, comme les espaces client, les dossiers de préproduction et les résultats de recherche interne, avec des directives Disallow valables pour tous les robots.
- Testez le fichier dans vos outils de search console et dans un outil de test robots.txt, puis déployez-le et vérifiez-le de nouveau après chaque mise en production du site.
Quels robots d'indexation IA respectent le robots.txt, et lesquels pourraient ne pas le faire ?
Les principaux opérateurs d'IA qui publient une documentation sur leurs robots d'indexation affirment généralement que leurs robots déclarés respectent le robots.txt. Ces déclarations constituent la référence de base, mais il s'agit de engagements et non de garanties : le libellé de chaque éditeur doit être vérifié dans sa propre documentation.
Le robots.txt est purement indicatif. Il fonctionne parce que les robots légitimes choisissent de le lire. Certaines requêtes déclenchées par un utilisateur, et certaines requêtes passant par des outils tiers, peuvent ne pas suivre les mêmes règles. Des rapports de tiers ont également allégué que certains moteurs de réponse récupéraient du contenu avec des user agents ne correspondant pas à leurs noms déclarés. Considérez toute chaîne de user agent comme une affirmation tant que vous ne l'avez pas vérifiée.
Si vous avez besoin d'une application stricte, le robots.txt seul ne suffit pas. Utilisez une authentification pour les contenus privés, des limitations de débit ou un pare-feu applicatif (WAF) pour le trafic abusif, et admettez en interne qu'une règle publiée est un signal, et non un verrou.
Comment vérifier qu'une requête de PerplexityBot ou de GPTBot est authentique ?
La vérification consiste à contrôler que la requête provient d'une adresse IP appartenant à l'opérateur revendiqué. Une chaîne de user agent est facile à copier : elle ne prouve donc rien à elle seule. Les principaux opérateurs qui exploitent des robots dédiés ont publié des listes de plages d'adresses IP, et Google explique comment vérifier Googlebot par une recherche DNS inversée suivie d'une recherche DNS directe.
Ce contrôle est simple à réaliser depuis un terminal ou un outil de gestion de journaux. Comparez les adresses IP de vos journaux à la liste publiée par l'opérateur, et considérez comme non vérifiée toute requête qui annonce un nom mais provient d'en dehors de ces plages. Conservez une trace de la date de récupération de chaque liste, car les plages évoluent.
- Extraire de vos journaux serveur les requêtes dont le user agent contient GPTBot, OAI-SearchBot, PerplexityBot, Perplexity-User ou Googlebot.
- Collecter les adresses IP source uniques pour chaque nom revendiqué.
- Pour chaque opérateur qui publie ses plages, vérifier si l'adresse IP se trouve dans les plages listées.
- Pour Googlebot, effectuer une recherche DNS inversée sur l'adresse IP et confirmer que le nom d'hôte appartient à Google, puis effectuer une recherche DNS directe pour confirmer qu'il renvoie à la même adresse IP.
- Classer chaque source comme vérifiée, non vérifiée ou sans liste publiée, et ne retenir que les volumes de crawl issus de sources vérifiées.
- Répéter le contrôle chaque mois, car de nouvelles adresses IP et de nouveaux user agents apparaissent au fil du temps.
Comment vérifier dans les journaux serveur que les robots IA accèdent à vos pages B2B clés ?
Les journaux serveur indiquent ce que les robots ont demandé, à quel moment, et quel code de statut votre serveur a renvoyé. Pour un site B2B, filtrez ces requêtes sur les pages qui génèrent du pipeline commercial, comme les pages produit, tarifs, intégrations, sécurité et comparatifs, puis vérifiez si les robots IA y accèdent. Un robot qui ne demande jamais une page clé ne peut pas l'utiliser pour une citation, quel que soit le contenu de votre robots.txt.
Observez trois éléments : quels user agents IA apparaissent, quels chemins d'URL ils demandent, et si ces requêtes renvoient un statut 200. Les réponses 403, 404 ou 5xx fréquentes adressées à des robots IA vérifiés signalent des problèmes d'accès, comme une règle de pare-feu ou un modèle de page défectueux, plutôt qu'une décision prise dans le robots.txt.
- Exportez les journaux d'accès bruts sur une période au moins représentative et confirmez le fuseau horaire.
- Filtrez les user agents IA et séparez les requêtes vérifiées des requêtes non vérifiées selon la méthode décrite ci-dessus.
- Comptez les requêtes par chemin d'URL, en regroupant par type de page : produit, article, documentation, mentions légales, etc.
- Contrôlez les codes de statut renvoyés à chaque robot vérifié et corrigez tout motif de type 4xx ou 5xx.
- Comparez les chemins demandés aux pages que vous souhaitez voir citées, puis reliez les écarts à votre maillage interne et à votre sitemap.
- Consignez les résultats afin de pouvoir les comparer après chaque modification du robots.txt ou de la structure du site.
Où se situe Rixe
L'analyse manuelle des journaux est utile pour un premier audit, mais elle ne montre pas comment les moteurs de réponse décrivent votre marque face aux questions que posent les acheteurs. Une plateforme de visibilité IA comme Rixe mesure la manière dont les assistants mentionnent et citent une marque pour un ensemble de requêtes, ce qui permet de vérifier si l'accès des robots se traduit par une visibilité.