Faut-il bloquer GPTBot et ClaudeBot dans son robots.txt ?
La question revient de plus en plus dans les échanges avec des dirigeants de PME romandes qui ont entendu parler des crawlers IA sans savoir ce qu’ils font réellement sur leur site. La réponse dépend d’un point que la plupart des guides généralistes passent sous silence : tous les crawlers IA ne se valent pas. GPTBot et ClaudeBot sont des crawlers d’entraînement — ils aspirent du contenu pour nourrir de futures versions des modèles, sans lien direct avec la capacité d’un site à être cité dans une réponse ChatGPT ou Claude aujourd’hui. Cette distinction change tout dans la décision à prendre, et elle explique pourquoi une PME peut bloquer certains bots sans perdre la moindre visibilité dans les réponses génératives, à condition de laisser passer les bons. Pour la mécanique générale de la citation par les IA génératives, notre article sur comment structurer un site pour être cité par une IA générative détaille ce qui se passe une fois qu’une page est effectivement lue.
Quelle est la différence entre un crawler d’entraînement et un crawler de citation ?
Un crawler d’entraînement collecte des pages pour construire ou mettre à jour la base de connaissances d’un modèle de langage, un processus qui se déroule en amont et hors ligne. Un crawler de citation, à l’inverse, se déclenche au moment où un utilisateur pose une question en temps réel et va chercher des pages pertinentes pour construire une réponse sourcée. Selon les données Cloudflare Radar analysées par Digital Applied, seulement 9,3 % des requêtes de crawlers IA en mai 2026 relevaient d’un usage de recherche pur, contre 51,8 % pour l’entraînement et 35,7 % pour un usage mixte. Concrètement, GPTBot (OpenAI) et ClaudeBot (Anthropic) appartiennent à la première catégorie, tandis qu’OAI-SearchBot, Claude-SearchBot et PerplexityBot appartiennent à la seconde. Bloquer un crawler d’entraînement ne retire donc rien à la présence d’un site dans les réponses IA du moment — cela limite seulement sa contribution aux futures versions du modèle, un enjeu différent et à trancher séparément.
Combien de pages GPTBot et ClaudeBot explorent-ils pour un seul visiteur renvoyé ?
L’écart est le chiffre le plus parlant pour comprendre l’enjeu réel, même s’il évolue vite. Une analyse de Technology Checker portant sur le réseau Cloudflare mesurait qu’Anthropic (ClaudeBot) explorait 20 583 pages pour chaque visiteur renvoyé vers un site au premier trimestre 2026, le ratio le plus déséquilibré du marché à l’époque. Le rapport s’est ensuite nettement resserré : la même source situe Anthropic à 1 917:1 en juillet 2026, contre 251:1 pour OpenAI (GPTBot) et 289:1 pour Perplexity sur la même période — Anthropic reste donc le plus gourmand des trois, mais l’écart s’est réduit d’un facteur 10 en quelques mois. Ces chiffres expliquent pourquoi de plus en plus de sites choisissent de bloquer sélectivement les crawlers d’entraînement plutôt que d’accepter un trafic d’exploration massif sans contrepartie mesurable, même si la contrepartie s’améliore.
| Crawler | Type | Ratio Q1 2026 | Ratio juillet 2026 |
|---|---|---|---|
| ClaudeBot (Anthropic) | Entraînement | 20 583 : 1 | 1 917 : 1 |
| GPTBot (OpenAI) | Entraînement | 1 255 : 1 | 251 : 1 |
| PerplexityBot | Citation / recherche | 111 : 1 | 289 : 1 |
| Google (Googlebot) | Indexation classique | 5 : 1 | ≈5 : 1 |
Quels crawlers faut-il laisser passer pour rester visible dans les IA génératives ?
Trois crawlers concentrent l’essentiel de l’enjeu de visibilité réelle : OAI-SearchBot pour ChatGPT, Claude-SearchBot pour Claude, et PerplexityBot pour Perplexity. Ce sont eux qui interviennent quand un utilisateur pose une question et que le modèle va chercher une page pour construire sa réponse — les bloquer revient à sortir volontairement du jeu de la citation IA en temps réel, l’équivalent de désindexer un site de Google. Google occupe une position particulière avec Google-Extended, son crawler dédié à l’entraînement de Gemini : le bloquer n’affecte pas le classement classique dans Search, mais peut réduire la présence dans les AI Overviews sur le long terme, un point que Google documente dans son guide officiel sur les fonctionnalités IA, déjà cité dans notre article sur le mécanisme des AI Overviews. La règle pratique est simple : autoriser explicitement les crawlers de recherche/citation, et décider séparément, en fonction de sa tolérance au ratio d’exploration, si les crawlers d’entraînement pure valent la peine d’être laissés ouverts.
Comment les sites configurent-ils leur robots.txt face aux crawlers IA en 2026 ?
Le mouvement de blocage s’est nettement accéléré depuis 2023. Une étude académique publiée à la conférence ACM Web 2026 par des chercheurs des universités de la Sarre et de l’IIT Bombay mesure que le blocage d’au moins un crawler IA par des sites d’information réputés est passé de 23 % en septembre 2023 à près de 60 % en mai 2025, comme le détaille leur publication Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web. Ces mêmes sites réputés interdisent en moyenne 15,5 agents IA différents dans leur fichier, contre moins d’un seul pour les sites de désinformation étudiés en comparaison — un signal que la rigueur de configuration du robots.txt est devenue, presque involontairement, un marqueur de sérieux éditorial. Côté volumes bruts, Cloudflare a annoncé avoir bloqué 416 milliards de requêtes de bots IA en cinq mois fin 2025 pour ses clients, et plus de 2,5 millions de sites avaient choisi de désactiver totalement l’entraînement IA dès août 2025.
| Période | Part des sites réputés bloquant ≥1 crawler IA |
|---|---|
| Septembre 2023 | 23 % |
| Mai 2025 | ≈60 % |
Comment vérifier et corriger le robots.txt de son propre site ?
La vérification prend cinq minutes et ne demande aucune compétence technique poussée : ouvrir https://votredomaine.ch/robots.txt dans un navigateur et chercher les lignes User-agent: suivies d’un Disallow: /. Si un des crawlers de citation (OAI-SearchBot, Claude-SearchBot, PerplexityBot) apparaît avec cette directive, le site est probablement invisible dans les réponses de ChatGPT, Claude ou Perplexity sans que le propriétaire l’ait décidé — l’origine la plus fréquente est un thème ou plugin CMS qui a ajouté la règle par défaut, souvent présentée comme une mesure de sécurité générique. La correction consiste à ajouter une ligne Allow: / explicite pour chacun de ces trois agents, tout en gardant la liberté de bloquer GPTBot, ClaudeBot ou Google-Extended si l’objectif est de limiter la contribution du site à l’entraînement des modèles sans renoncer à la visibilité dans les réponses IA du moment. Il faut aussi garder à l’esprit qu’un fichier robots.txt correctement configuré ne garantit rien en soi : comme le rappelle notre article sur comment structurer un site pour être cité par une IA générative, un site doit d’abord être rapide, indexé et bien structuré pour espérer être exploré assez souvent.
Faut-il gérer soi-même son robots.txt ou déléguer ce suivi ?
Modifier un robots.txt est un geste ponctuel qu’un indépendant peut faire seul en quelques minutes une fois qu’il sait quels agents chercher. La vraie difficulté est ailleurs : la liste des crawlers IA change régulièrement — de nouveaux agents apparaissent, certains fusionnent, d’autres changent de comportement face au fichier — et un robots.txt vérifié une fois en 2026 peut redevenir obsolète six mois plus tard sans qu’aucune alerte ne prévienne le propriétaire du site. C’est le même arbitrage que celui détaillé dans notre article sur la fiche Google : la gérer soi-même ou déléguer : faisable seul, mais qui demande une veille continue plutôt qu’une action ponctuelle. NovaUp configure et maintient à jour le robots.txt de chaque site client livré, avec un suivi qui s’inscrit dans le monitoring GEO mensuel du Plan Croissance (597 CHF/mois avec engagement de 6 mois, 797 CHF/mois sans engagement).
Pour savoir si votre site est aujourd’hui accessible aux bons crawlers IA, et où en est votre visibilité sur Google comme sur les IA génératives, NovaUp propose un audit gratuit de 15 minutes : votre fiche Google Business Profile est analysée à la main avant l’appel, comparée à trois concurrents locaux, avec un plan d’action concret remis en fin d’appel.
