Les robots IA se rangent en trois familles : ceux qui collectent des contenus pour entraîner les modèles (GPTBot, ClaudeBot…), ceux qui alimentent la recherche des assistants (OAI-SearchBot, Claude-SearchBot, PerplexityBot) et ceux qui visitent une page à la demande d'un utilisateur (ChatGPT-User, Claude-User, Perplexity-User). Vous pouvez les régler séparément dans votre fichier robots.txt. Pour rester visible dans les réponses des IA, laissez passer au minimum les robots de recherche.
- Bloquer un robot d'entraînement ne vous retire pas des réponses avec recherche : ce sont des robots différents.
- Les robots qui agissent à la demande d'un utilisateur peuvent ne pas suivre le robots.txt, comme l'indiquent OpenAI, Perplexity et Meta.
- Le robots.txt est une consigne, pas un verrou : un pare-feu peut bloquer un robot que vous pensiez autoriser, et inversement.
Trois familles de robots, trois enjeux
Les robots d'entraînement parcourent le web pour constituer les données qui servent à entraîner les futurs modèles. Les bloquer n'enlève rien de ce qui a déjà été collecté et ne change rien à votre présence dans les réponses avec recherche. C'est une décision de principe : acceptez-vous que vos textes nourrissent ces modèles ?
Les robots de recherche indexent vos pages pour que l'assistant puisse les retrouver, les résumer et les citer avec un lien. Les bloquer revient à disparaître des réponses de cet assistant, ou presque. Pour un site qui cherche des clients, c'est rarement une bonne idée.
Les robots « à la demande » ne parcourent pas le web de leur propre initiative. Ils vont chercher une page précise parce qu'un utilisateur l'a demandé, par exemple en collant une adresse dans la conversation. Plusieurs éditeurs indiquent qu'ils peuvent ignorer le robots.txt dans ce cas, puisqu'une personne est à l'origine de la visite.
La liste des principaux robots IA
Ces noms sont ceux à écrire dans la ligne User-agent de votre robots.txt. Ils proviennent de la documentation officielle de chaque éditeur, consultée en novembre 2026.
| Éditeur | Nom du robot | Rôle |
|---|---|---|
| OpenAI | GPTBot | Entraînement des modèles |
| OpenAI | OAI-SearchBot | Recherche de ChatGPT |
| OpenAI | ChatGPT-User | Visite à la demande d'un utilisateur |
| Anthropic | ClaudeBot | Entraînement des modèles |
| Anthropic | Claude-SearchBot | Recherche de Claude |
| Anthropic | Claude-User | Visite à la demande d'un utilisateur |
| Perplexity | PerplexityBot | Recherche de Perplexity (pas d'entraînement, selon l'éditeur) |
| Perplexity | Perplexity-User | Visite à la demande d'un utilisateur |
| Googlebot | Recherche Google, y compris aperçus IA et mode IA | |
| Google-Extended | Jeton de contrôle (pas un robot distinct) : entraînement de Gemini et ancrage des réponses des applications Gemini | |
| Apple | Applebot | Recherche (Siri, Spotlight, Safari) ; peut aussi servir à l'entraînement |
| Apple | Applebot-Extended | Jeton de contrôle : refus de l'entraînement des modèles d'Apple |
| Meta | meta-externalagent | Entraînement des modèles ou indexation pour ses produits |
| Meta | meta-webindexer | Recherche et citations dans Meta AI |
| Meta | meta-externalfetcher | Visite à la demande d'un utilisateur |
| Common Crawl | CCBot | Archive ouverte du web, librement réutilisable |
Deux cas méritent une explication. Google-Extended et Applebot-Extended ne visitent pas votre site : ce sont des noms que vous inscrivez dans le robots.txt pour indiquer comment les données déjà explorées par Googlebot ou Applebot peuvent être utilisées. Google précise que Google-Extended n'a aucun effet sur votre présence ni votre classement dans la recherche Google. Pour sortir des aperçus IA, il faut passer par Search Console : voir aperçus IA et mode IA de Google.
Côté Microsoft, Copilot va chercher ses informations sur le web via la recherche Bing. Le robot qui compte est donc Bingbot : le bloquer vous retirerait de Bing, et par ricochet des réponses de Copilot fondées sur Bing.
Exemples de robots.txt
Le fichier robots.txt se place à la racine du site (https://www.exemple.fr/robots.txt). Si vous découvrez ce fichier, lisez d'abord notre guide du fichier robots.txt.
Cas 1 : tout autoriser
Si votre robots.txt ne mentionne aucun de ces robots, ils sont autorisés par défaut. Vous n'avez rien à ajouter. C'est le choix le plus simple pour un site vitrine qui veut un maximum de visibilité.
Cas 2 : refuser l'entraînement, rester visible dans les réponses
C'est le compromis le plus courant. On bloque les robots et jetons d'entraînement, on laisse les robots de recherche :
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Les trois derniers blocs ne sont pas obligatoires, puisque tout ce qui n'est pas interdit est permis. Ils rendent simplement votre intention explicite.
Cas 3 : protéger une partie du site seulement
Vous pouvez viser un répertoire précis, par exemple un espace de ressources payantes :
User-agent: GPTBot
Disallow: /ressources/
User-agent: ClaudeBot
Disallow: /ressources/Un robot ne lit que le groupe User-agent qui le concerne le plus précisément. Si vous créez un groupe pour GPTBot, les règles écrites sous User-agent: * ne s'appliquent plus à lui : recopiez-y les interdictions générales qui doivent le concerner aussi.
Les limites du robots.txt
- Le délai. OpenAI parle d'environ 24 heures pour qu'une modification soit prise en compte, Perplexity et Meta de 24 heures au plus.
- Les visites à la demande. ChatGPT-User, Perplexity-User et meta-externalfetcher peuvent passer outre, puisqu'un utilisateur a demandé la page.
- Le pare-feu. Certains hébergeurs et services de protection bloquent les robots IA par défaut. Votre robots.txt peut dire « bienvenue » alors que le serveur refuse l'accès. Testez avec notre outil de lisibilité par les IA.
- Les imitations. N'importe qui peut se présenter sous le nom de GPTBot. OpenAI publie la liste des adresses IP de ses robots, ce qui permet de vérifier une visite suspecte dans les journaux du serveur.
- Le rythme de visite. Anthropic respecte la directive
Crawl-delay, qui espace les passages de ses robots. Ce n'est pas le cas de tous les éditeurs ; Google, par exemple, l'ignore.
Pour aller plus loin, le fichier llms.txt est parfois présenté comme un complément au robots.txt pour les IA : son adoption réelle reste limitée. Et pour savoir si ces robots vous rapportent des visites, voir mesurer le trafic venu des IA.
Questions fréquentes
Bloquer GPTBot me retire-t-il de ChatGPT ?
Non. GPTBot sert à l'entraînement. Votre présence dans la recherche de ChatGPT dépend d'OAI-SearchBot, qui se règle séparément.
Bloquer Google-Extended me retire-t-il des aperçus IA ?
Non. Google indique que Google-Extended n'a aucun effet sur la recherche Google. Les aperçus IA et le mode IA se gèrent par les balises d'extrait, le noindex ou le réglage dédié dans Search Console.
Le blocage s'applique-t-il aux contenus déjà collectés ?
Non. Un blocage vaut pour les visites à venir. Anthropic, par exemple, précise que le blocage de ClaudeBot exclut les contenus futurs de l'entraînement.
Faut-il bloquer CCBot ?
C'est un choix personnel. CCBot n'est ni le robot d'un moteur de recherche ni celui d'un assistant : il alimente une archive ouverte du web que chacun peut réutiliser. À vous de décider si cette réutilisation vous convient.