GPTBot, Google-Extended, PerplexityBot : autoriser ou bloquer les crawlers IA

Sur cette page
  1. En bref
  2. Trois jetons, trois périmètres
  3. Ce que couvre (et ne couvre pas) le robots.txt
  4. L’arbitrage : viser la citation, pas la présence
  5. Trois décisions mal calibrées, observées sur le terrain
  6. Erreurs coûteuses à éviter
  7. Foire aux questions
  8. Sources

En bref

Une recherche pour « bloquer gptbot robots.txt » ramène presque toujours à la même question mal cadrée : un site qui reçoit GPTBot, Google-Extended et PerplexityBot ne fait pas face à un seul crawler à autoriser ou bloquer, mais à trois décisions distinctes. Bloquer un de ces jetons au robots.txt (voir le testeur de robots.txt pour vérifier ses propres règles) retire le site des futures requêtes de ce crawler précis ; ça ne garantit rien sur le contenu déjà collecté ni sur ce qu’un autre moteur IA fait de son côté. La confusion la plus coûteuse touche Google : Googlebot, Google-Extended et le rendu des AI Overviews ne répondent pas au même levier, et les traiter comme un bloc unique mène à bloquer le mauvais jeton pour le bon problème. Le cadrage général entre LLM et SEO en 2026 aide à situer cette décision d’accès dans un contexte plus large que le seul fichier robots.txt.

Trois jetons, trois périmètres

Chez Google, deux jetons gouvernent des périmètres distincts, documentés séparément par l’entreprise. Googlebot gouverne l’indexation Search classique et, selon la documentation officielle, les préférences de crawl adressées à ce jeton affectent Google Search « including Discover and all Google Search features ». Les fonctionnalités IA intégrées à la Recherche (AI Overviews, AI Mode) en font partie : Google précise qu’elles sont « built into Search and integral to how Search functions », et que le contrôle d’accès pour ces fonctionnalités passe par les mêmes règles robots.txt adressées à Googlebot, complétées par nosnippet, data-nosnippet, max-snippet ou noindex pour limiter ce qui apparaît dans l’aperçu.

Google-Extended est un jeton séparé. Il gère uniquement si le contenu crawlé peut servir à entraîner les futures générations de modèles Gemini et à alimenter le grounding dans Gemini Apps et l’API Vertex AI pour Gemini. La documentation est directe sur la limite de son périmètre : « Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search. » Bloquer ce jeton en pensant limiter l’apparition dans les AI Overviews ne produit pas l’effet recherché, puisque ce rôle appartient à Googlebot et aux contrôles d’aperçu, pas à Google-Extended. Ce cadrage rejoint la logique générale du GEO : être cité ou non par un moteur génératif dépend du jeton qui contrôle réellement ce moteur, pas d’une intuition sur ce qui « sonne IA ».

Ce que couvre (et ne couvre pas) le robots.txt

Techniquement, le fichier fonctionne par groupes user-agent : chaque bloc cible un jeton précis avec ses propres règles allow/disallow, ce qui permet de traiter Googlebot, Google-Extended, GPTBot ou PerplexityBot séparément dans le même fichier plutôt que de choisir un blocage tout-ou-rien.

Le mécanisme officiellement supporté par les grandes entreprises IA existe : GPTBot et OAI-SearchBot chez OpenAI, ClaudeBot, Claude-User et Claude-SearchBot chez Anthropic, Google-Extended, et PerplexityBot chez Perplexity répondent tous, en théorie, à une règle disallow ciblée. Mais la nature du mécanisme reste déclarative. La conformité au robots.txt est volontaire et n’est surveillée par personne : « it is just a set of requests, not an actual block ». L’image retenue par la couverture de Search Engine Journal est celle d’un panneau « défense d’entrer » planté devant un portail resté ouvert. Rien n’empêche techniquement un crawler de continuer à passer ; seul son propre code respecte, ou non, la règle publiée.

Deux limites pratiques s’ajoutent. D’abord, le fichier n’est jamais mis à jour automatiquement quand un nouveau user-agent IA apparaît : chaque nouveau jeton à couvrir doit être ajouté à la main. Ensuite, robots.txt ne retire jamais une page déjà indexée : la documentation officielle du fichier est claire là-dessus, ce n’est pas un mécanisme pour garder une page hors de Google, c’est noindex ou la protection par mot de passe qui joue ce rôle pour l’index Search. Rien dans le dossier ne documente non plus de mécanisme de retrait rétroactif équivalent chez les moteurs IA : bloquer un crawler agit sur la collecte à venir, pas sur ce qui a déjà été aspiré ou déjà utilisé pour entraîner un modèle.

L’arbitrage : viser la citation, pas la présence

La question qui compte n’est pas « faut-il bloquer les bots IA », mais « quel effet ce blocage produit-il vraiment pour ce moteur précis ». Bloquer GPTBot fait disparaître le site des citations futures générées par ChatGPT à partir de ce crawl, sans garantie que le contenu déjà collecté en soit retiré. Bloquer Google-Extended ne change rien à l’inclusion dans Google Search ni au classement, puisque ce jeton n’a jamais eu ce rôle. Bloquer Googlebot, en revanche, touche l’ensemble des fonctionnalités Search, y compris les AI Overviews, ce qui en fait un levier bien plus large que ce que son nom suggère au premier regard.

Une agence qui propose un blocage total « par précaution » sur un site dont l’objectif est justement la visibilité générative (citations dans ChatGPT ou Perplexity) inverse l’intention du client sans le dire clairement. Le compromis qui tient mieux la route est un arbitrage par crawler et par section de site : un Disallow ciblé sur les zones à faible valeur éditoriale (fiches produit, pages transactionnelles) pendant que le contenu conçu pour être cité reste accessible. C’est la même logique qui distingue un fichier d’hygiène gratuite comme les données structurées d’une décision d’accès qui a un vrai coût d’opportunité.

Un piège plus grave guette l’exécution technique : un Disallow global (User-agent: * puis Disallow: /) posé en pensant ne viser que les crawlers IA bloque tout le monde, Googlebot inclus, avec des conséquences bien au-delà de la visibilité générative. La granularité par jeton n’est pas une option de confort, elle est ce qui évite ce scénario.

Trois décisions mal calibrées, observées sur le terrain

Bloquer GPTBot en espérant un retrait immédiat. Une PME bloque GPTBot dans robots.txt en pensant retirer du même coup tout ce que ChatGPT a déjà répondu à partir de son contenu. La conformité au robots.txt est volontaire et régit l’accès futur du crawler, pas un retrait rétroactif ; aucune source du dossier ne documente de mécanisme qui efface a posteriori ce qui a déjà été collecté. Le geste utile consiste à traiter le blocage comme un frein sur la collecte à venir, et à noter la date du changement pour toute discussion ultérieure sur son effet.

Bloquer Google-Extended en visant les AI Overviews. Un administrateur bloque Google-Extended en croyant faire disparaître son site des AI Overviews de Google. Ce jeton gère l’entraînement des futurs modèles Gemini et le grounding dans Gemini Apps et Vertex AI, pas les fonctionnalités IA de la Recherche. Pour agir réellement sur ce qui apparaît dans l’aperçu, ce sont les contrôles documentés pour Googlebot (nosnippet, data-nosnippet, max-snippet, noindex) qu’il faut manier, pas Google-Extended.

Un blocage total « par précaution » sur un site qui vise la citation générative. Une agence propose de bloquer tous les bots IA d’un client dont le contenu éducatif vise justement les citations dans ChatGPT ou Perplexity. L’arbitrage qui tient mieux la route se joue par crawler et par section de site : un Disallow ciblé sur les zones à faible valeur éditoriale pendant que le contenu conçu pour être cité reste accessible, plutôt qu’un blocage appliqué par défaut à l’ensemble du site.

Erreurs coûteuses à éviter

  • Poser un Disallow sur GPTBot en présumant un retrait garanti et immédiat des réponses déjà générées par ChatGPT, alors que la règle ne joue que sur la collecte future.
  • Bloquer Google-Extended pour tenter de sortir des AI Overviews, alors que ce jeton n’affecte ni l’inclusion ni le classement dans Google Search.
  • Confondre Googlebot et Google-Extended comme s’ils gouvernaient le même périmètre, alors que chacun a ses propres produits affectés, documentés séparément par Google.
  • Publier un robots.txt une fois et présumer qu’il couvre automatiquement les futurs crawlers IA : le fichier n’est jamais mis à jour tout seul quand un nouveau user-agent apparaît.
  • Poser un Disallow global (User-agent: * puis Disallow: /) en pensant ne viser que les bots IA, alors que la règle s’applique à tout crawler non ciblé spécifiquement ailleurs dans le fichier, Googlebot inclus.
  • Trancher la décision comme un choix binaire (tout bloquer ou tout autoriser) plutôt que par crawler et par section de site, alors que le fichier fonctionne justement par groupes user-agent distincts.

Foire aux questions

Bloquer GPTBot dans robots.txt empêche-t-il définitivement ChatGPT de citer le contenu ?

Pas de garantie technique. La conformité au robots.txt est volontaire et n’est surveillée par aucune autorité centrale ; c’est une demande adressée au crawler, pas un blocage appliqué de force.

Bloquer Google-Extended retire-t-il un site des AI Overviews ?

Non. La documentation Google est explicite : Google-Extended n’affecte ni l’inclusion dans Google Search ni le classement. Le contrôle des fonctionnalités IA de la Recherche passe par les mêmes règles robots.txt adressées à Googlebot, plus nosnippet ou noindex pour l’aperçu, pas par Google-Extended.

Googlebot et Google-Extended peuvent-ils être bloqués séparément dans le même fichier ?

Oui. Ce sont deux jetons distincts, chacun avec ses propres produits affectés documentés séparément par Google, et chacun peut recevoir son propre groupe user-agent dans le fichier.

Faut-il bloquer tous les crawlers IA par précaution ?

Aucune source du dossier ne recommande un blocage total par défaut. L’arbitrage central reste le même pour chaque crawler : bloquer retire le site des citations de ce moteur précis, sans garantir la protection du contenu déjà collecté. La décision se prend jeton par jeton et section par section.

Un robots.txt déjà en place couvre-t-il automatiquement les nouveaux bots IA qui apparaissent ensuite ?

Non. Le fichier n’est pas mis à jour automatiquement quand un nouveau user-agent est publié ; chaque nouveau jeton à couvrir doit être ajouté manuellement.

Sources

  • developers.google.com : Google’s common crawlers : « Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models […] and for grounding […]. Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search. » (consulté le 2026-09-05)
  • developers.google.com : AI features in Search : « robots.txt directives for Googlebot is the control for site owners to manage access to how their sites are crawled for Search. To limit the information shown from your pages in Search, use nosnippet, data-nosnippet, max-snippet, or noindex controls. » (consulté le 2026-09-05)
  • developers.google.com : Créer et soumettre un robots.txt : « A robots.txt file is a text file containing rules about which crawlers may access which parts of a site. » (consulté le 2026-09-05)
  • developers.google.com : Introduction à robots.txt : « it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page. » (consulté le 2026-09-05)
  • searchenginejournal.com : Should I block AI crawlers at robots.txt or server level? : « compliance with the robots.txt is completely voluntary and not centrally monitored […] Think of it as a no-trespassing sign in front of an open gate. » (consulté le 2026-09-05)
À lire ensuite

D’autres analyses du même terrain.

Tout le blogue

GEO & IA

IndexNow : soumettre une page à Bing, sans garantie d'indexation

8 octobre 2026

Lire l’article

GEO & IA

llms.txt en 2026 : verdict après deux ans de proposition

5 octobre 2026

Lire l’article

GEO & IA

Mesurer sa visibilité dans ChatGPT et Perplexity : ce qui est mesurable, ce qui ne l'est pas

29 septembre 2026

Lire l’article