Base de connaissances
1 000 FAQ, 500 tutoriels et vidéos explicatives. Ici, il n'y a que des solutions !
Fichier Robots.txt créé par défaut
Ce guide donne des informations sur le fichier robots.txt créé par défaut pour les sites dont ce fichier est absent.
Si le fichier robots.txt est absent d'un site, un fichier robots.txt est automatiquement généré avec les directives suivantes:
User-agent: *
Crawl-delay: 10
Ces directives indiquent aux robots d'espacer leurs requĂŞtes de 10 secondes, ce qui Ă©vite de surcharger inutilement les serveurs.
Lien vers cette FAQ: