Testez pour réserver GO
email et webmail gratuits email et webmail gratuits, annonces, forums régionaux echanger, acheter ou vendre des bannieres disponibilite , liste et infos publiques des domaines
.com
.net
.org 		.fr
.asso.fr
.nom.fr 		.eu
.gouv.fr
.tm.fr 		.ca
.qc.ca
.on.ca 		.biz
.info
.tv
un ou plusieurs mots seuls avec extensions cochées ou bien des noms de domaines
CREER
PROLONGER
TRANSFERER
SITES WEB
Robots.txt, le guide des moteurs
  1. Outils Web pour les néophytes
  2. Paramètres pour cgi et php
  3. Fichiers d'erreurs ( missing.html erreurcgi.html etc )
  4. Favicon.ico l'icone des favoris
  5. Robots.txt, le guide des moteurs
  6. Installer un compteur
  7. Installer un formulaire contact
  8. Installer une bannière
  9. Installer une redirection
  10. Autres Cgi et documentation Linux pour applications
Robots.txt est un fichier qui doit être situé près de index.html et qui indique éventuellement les répertoires à ne pas indexer par les moteurs de recherche.

Il faut en avoir un car sinon ca fait une erreur 404 et l'envoi de la page missing.html.

Voyez en bas de page le modèle à utiliser dans le cas général.
Syntaxe
Ce sont des paires de lignes commençant par
User-Agent
et
Disallow

User-Agent est le nom de code du navigateur ou du moteur. un asterisque '*' veut dire que la règle qui suit est valable pour tous
et
Disallow les fichiers à exclure. Pour tout exclure, utilisez un slash '/'. Pour exclure le fichier 'nompublic.html' , mettez
User-Agent: *
Disallow: /nompublic.html

Notez bien que seuls les moteurs ''honnêtes'' consultent robots.txt. En d'autres termes, si un fichier n'est pas protégé par mot de passe, rien n'empêcherait un moteur de le charger et pourquoi pas, l'indexer.
Robots.txt acceptant toute indexation ( cas général )
Afin de laisser les moteurs tout indexer tout en évitant une accumulation d'erreur 404, créez ce fichier robots.txt et telechargez le près d'index.html dans www en mode ascii.

User-Agent: *
Disallow:

Vous pouvez aussi vous contenter de la première ligne.