Le fichier robot.txt

Fichier (facultatif) a mettre a la racine du site il va permettre de donner des instructions particulières aux « robots » des moteurs de recherche

Voici quelques instructions

Exclusion d’aucune page (équivalent à l’absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent:
* Disallow:

Autorisation d’un seul robot :
User-Agent: nomDuRobot
Disallow : User-Agent:
* Disallow: /

Exclusion d’un robot :
User-Agent:
NomDuRobot
Disallow: /
User-Agent: * Disallow:

Exclusion d’une page :
User-Agent: *
Disallow: / repertoire/chemin/page.html

Exclusion de plusieurs pages :
User-Agent: *
Disallow: /repertoire/chemin/page.html
Disallow: /repertoire/chemin/page2.html
Disallow: /repertoire/chemin/page3.html

Exclusion de toutes les pages d’un répertoire et ses sous-dossiers :
User-Agent: *
Disallow: /repertoire/

Nom des principaux robots
Google > Googlebot
Alta Vista > Scooter
HotBot > Slurp
Excite > Architext
Spider Voilà > Echo