Le fichier robots.txt : rôle, syntaxe et exemples

Le fichier robots.txt est un simple fichier texte placé à la racine d'un site (votresite.fr/robots.txt) qui indique aux robots quelles parties ils peuvent explorer. Il sert à éviter l'exploration de zones inutiles, pas à cacher une page de Google : une page bloquée peut quand même apparaître dans les résultats si d'autres sites la citent. Il sert aussi aujourd'hui à autoriser ou refuser les robots des IA.

À quoi sert le robots.txt

Avant d'explorer un site, les robots sérieux lisent ce fichier pour connaître les consignes. Il permet par exemple de tenir Googlebot à l'écart d'un moteur de recherche interne, de pages de panier, de filtres qui génèrent des milliers de combinaisons, ou d'un dossier d'administration. Le robot consacre alors son temps aux pages qui comptent.

Trois limites à connaître :

• C'est une consigne, pas un verrou. Les grands moteurs la respectent, les robots malveillants non. Pour protéger des données, utilisez un mot de passe.
• Bloquer l'exploration n'empêche pas l'indexation. Une adresse bloquée mais citée ailleurs peut apparaître dans Google, sans description.
• Un fichier par hôte. Le robots.txt de www.exemple.fr ne s'applique pas à boutique.exemple.fr, ni à la version http si vous êtes en https.

La syntaxe de base

Le fichier se compose de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent (le robot visé), suivies de règles Disallow (interdit) ou Allow (autorisé). Les chemins commencent par une barre oblique et respectent les majuscules.

User-agent: *
Disallow: /panier/
Disallow: /recherche
Allow: /recherche/aide

Sitemap: https://www.exemple.fr/sitemap.xml

• User-agent: * vise tous les robots qui n'ont pas de groupe à leur nom.
• Disallow: /panier/ interdit tout ce qui commence par /panier/.
• Allow crée une exception. Chez Google, quand deux règles s'appliquent, la plus précise (le chemin le plus long) l'emporte.
• Sitemap indique l'adresse complète du plan du site. Cette ligne peut se placer n'importe où.

Google comprend deux caractères spéciaux : * pour « n'importe quelle suite de caractères » et $ pour « fin de l'adresse ». Exemple : Disallow: /*.pdf$ bloque tous les fichiers PDF.

Exemples courants

Sur WordPress, un fichier virtuel est créé par défaut. Il bloque /wp-admin/ tout en autorisant /wp-admin/admin-ajax.php. Les extensions SEO permettent de le modifier sans accès FTP.

Les erreurs à éviter

• Garder le Disallow: / du site de test lors de la mise en ligne : tout le site devient inexplorable. C'est l'une des causes classiques d'un site invisible sur Google.
• Bloquer les fichiers CSS et JavaScript : Google a besoin de ces ressources pour afficher la page comme un visiteur et vérifier qu'elle fonctionne sur mobile.
• Bloquer une page qui porte un noindex : le robot ne peut plus lire la consigne noindex. Laissez-la explorable jusqu'à sa sortie de l'index.
• Écrire noindex dans le robots.txt : Google ne prend plus en charge cette règle depuis septembre 2019.
• Compter sur Crawl-delay : Google ignore cette ligne. Bing, en revanche, la prend en compte.
• Lister des dossiers sensibles : le fichier est public. Écrire Disallow: /factures-clients/ indique à tout le monde où regarder.

Vérifier son fichier

Ouvrez d'abord votresite.fr/robots.txt dans un navigateur. Dans la Google Search Console, le rapport robots.txt (dans Paramètres) montre la version que Google a récupérée, la date de sa dernière lecture et les éventuelles erreurs. Il a remplacé l'ancien outil de test du robots.txt, retiré fin 2023. Pour savoir si une adresse précise est bloquée, utilisez l'outil d'inspection d'URL. La documentation officielle de Google détaille les règles : introduction au fichier robots.txt.

Le robots.txt et les robots IA

Les entreprises d'IA utilisent des robots distincts, avec des noms publics. Certains collectent des pages pour entraîner les modèles, d'autres alimentent la recherche en direct de l'assistant. Vous pouvez les traiter différemment.

# Refuser l'entraînement des modèles d'OpenAI
User-agent: GPTBot
Disallow: /

# Rester visible dans la recherche de ChatGPT
User-agent: OAI-SearchBot
Allow: /

# Refuser l'usage pour l'entraînement de Gemini (sans effet sur Google Search)
User-agent: Google-Extended
Disallow: /

Bloquer un robot de recherche, comme OAI-SearchBot ou PerplexityBot, réduit vos chances d'être cité par l'assistant correspondant. Bloquer Googlebot vous retire aussi des aperçus IA de Google, puisqu'ils s'appuient sur la recherche classique. Google-Extended, lui, ne joue pas sur l'affichage dans Google Search. Les règles changent souvent : notre page sur les robots IA et GPTBot tient la liste à jour. Le fichier llms.txt, parfois présenté comme son équivalent pour les IA, n'a pas le même rôle et n'est pas lu par Google.

Questions fréquentes