|
|
Inclure ou exclure certaines pages de l'indexation des robots
Utilisation du fichier "robots.txt"
A la racine du site, là où vous allez lancer le référencement, placez un fichier "robots.txt".
 |
Publicité 
|
Attention: robots prend un "s" et s'écrit en minuscule.
Par exemple, pour référencer le site http://www.devparadise.com/, il faut placer le fichier pour que le robot le trouve en cherchant http://www.devparadise.com/robots.txt
Ce fichier peut contenir des commentaires, s'il sont précédé du caractère "#".
Il doit contenir les fichiers ou répertoires à exclure comme ceci:
User-agent: Big Brother
Disallow: /test.htm
User-agent indique le robot auquel s'adresse la restriction, ci-dessus "Big Brother".
Disallow indique à quel fichier ou répertoire s'applique la restriction, ci-dessus "/test.htm".
Plusieurs restrictions peuvent être appliquées à un robot:
User-agent: Big Brother
Disallow: /cgi-bin/
Disallow: /test.htm
Une ou plusieurs restrictions peuvent s'appliquer à tous les robots:
User-agent: *
Disallow: /cgi-bin/
l'étoile n'est pas valable dans les noms de robots ("web*" n'est pas valable), ni dans les noms de fichier ("/test.*" et "/*" ne sont pas valables non plus).
Un fichier type pourrait donc être construit ainsi:
# robots.txt
# DevParadise
# http://www.devparadise.com/
# Author: Petit
# Last Updated: 09/06/00 12:23:26
# Aucun robot ne doit indexer le répertoire cgi-bin, ni le répertoire tmp
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
# Lycos ne doit pas indexer le répertoire test
User-agent: Lycos/x.x
Disallow: /test/
# Big Brother ne doit pas indexer le fichier test.htm du répertoire test
User-agent: Big Brother
Disallow: /test/test.htm
# Fin du fichier robots.txt
|
Inclure ou exclure certaines pages de l'indexation des robots
Introduction
Utilisation d'un Meta Tag "robots"
Utilisation du fichier "robots.txt"
A lire aussi sur Devparadise.com :
Tirez profit de la sponsorisation
Tirez profit du micro-paiement
Utilisation de la palette pathfinder d'Illustrator
Gifs animés sous ImageReady suite... (l'interpolation)
Utiliser les scripts d'ImageReady
A télécharger aussi sur Devparadise.com :
siteIndexer 0.02a
|
|
