Diese Anleitung bietet Informationen über die standardmäßig erstellte Datei robots.txt für Webhosting, auf denen diese Datei fehlt.

Vorwort

• Die Datei robots.txt dient als Leitfaden für die Suchmaschinen-Crawler
• Sie befindet sich in der Wurzel einer Website und enthält spezifische Anweisungen für diese Crawler, die angeben, welche Verzeichnisse oder Seiten sie durchsuchen dürfen und welche sie ignorieren sollen
• Achten Sie jedoch darauf, dass die Crawler diese Richtlinien ignorieren können, wodurch die robots.txt zu einem freiwilligen Leitfaden anstatt zu einer strikten Regel wird

Inhalt der Datei

Wenn die Datei robots.txt auf einer Infomaniak-Website fehlt, wird automatisch eine gleichnamige Datei mit den folgenden Richtlinien erstellt:

User-agent: *
Crawl-delay: 10

Diese Richtlinien weisen die Crawler an, ihre Anfragen um 10 Sekunden zu verzögern, wodurch eine unnötige Überlastung der Server vermieden wird.

Umgehen der standardmäßig erstellten robots.txt

Es ist möglich, die robots.txt zu umgehen, indem Sie diese Schritte befolgen:

1. Erstellen Sie eine leere Datei robots.txt (sie dient nur als Platzhalter, damit die Regeln nicht angewendet werden).
2. Verwalten Sie die Umleitung des URI (Uniform Resource Identifier) robots.txt auf die von Ihnen gewählte Datei mit einer Datei .htaccess.

Beispiel

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Erläuterungen

• Das Modul mod_rewrite von Apache ist aktiviert, um Umleitungen zu ermöglichen.
• Die Bedingung RewriteCond %{REQUEST_URI} /robots.txt$ überprüft, ob die Anfrage die Datei robots.txt betrifft.
• Die Regel RewriteRule ^robots\.txt$ index.php [QSA,L] leitet alle Anfragen an robots.txt an index.php weiter, wobei die Option [QSA] die Abfrageparameter beibehält.

Es wird empfohlen, diese Anweisungen am Anfang der Datei .htaccess zu platzieren.