Base de connaissances

1 000 FAQ, 500 tutoriels et vidéos explicatives. Ici, il n'y a que des solutions !

Fichier Robots.txt créé par défaut

Ce guide donne des informations sur le fichier robots.txt créé par défaut pour les sites dont ce fichier est absent.

Si le fichier robots.txt est absent d'un site, un fichier robots.txt est automatiquement généré avec les directives suivantes:

User-agent: *
Crawl-delay: 10

Ces directives indiquent aux robots d'espacer leurs requêtes de 10 secondes, ce qui évite de surcharger inutilement les serveurs.

Lien vers cette FAQ:

Voir toutes les FAQ de ce produit