Fichier Robots.txt créé par défaut

Ce guide donne des informations sur le fichier robots.txt créé par défaut pour les sites dont ce fichier est absent.

Si le fichier robots.txt est absent d'un site, un fichier robots.txt est automatiquement généré avec les directives suivantes:

User-agent: *
Crawl-delay: 10

Ces directives indiquent aux robots d'espacer leurs requêtes de 10 secondes, ce qui évite de surcharger inutilement les serveurs.

Contourner le robots.txt créé par défaut

Il est possible de contourner le robots.txt en suivant ces étapes :

1. Créer un fichier vide "robots.txt" (il servira uniquement d'emplacement pour que les règles ne s'appliquent pas)
2. Gérer la redirection du URI "robots.txt" vers le fichier de votre choix à l'aide d'un fichier .htaccess

Exemple :

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule (.+) index.php?p=$1 [QSA,L]
</IfModule>

Cet exemple redirige l'URI "robots.txt" vers "index.php", ce qui serait le cas si nous n'avions pas notre règle par défaut. Il est recommandé de placer ces instructions au début du fichier .htaccess.