Dieser Leitfaden enthält Informationen zur standardmäßig erstellten Datei robots.txt für Webhosting, bei denen diese Datei fehlt.

Einleitung

• Die Datei robots.txt dient als Leitfaden für die Suchmaschinen-Crawler.
• Sie befindet sich im Stammverzeichnis einer Website und enthält spezifische Anweisungen für diese Crawler, die angeben, welche Verzeichnisse oder Seiten sie durchsuchen dürfen und welche sie ignorieren sollen.
• Beachten Sie jedoch, dass Roboter diese Anweisungen ignorieren können, wodurch die Datei robots.txt eher eine freiwillige Richtlinie als eine strikte Regel darstellt.

Inhalt der Datei

Wenn die Datei robots.txt auf einer Website bei Infomaniak fehlt, wird automatisch eine Datei mit demselben Namen mit den folgenden Direktiven generiert:

User-agent: *
Crawl-delay: 10

Diese Direktiven weisen die Suchmaschinen-Crawler an, ihre Anfragen in 10-Sekunden-Abständen zu stellen, um eine unnötige Überlastung der Server zu vermeiden.

Die standardmäßig erstellte robots.txt-Datei umgehen

Sie können die robots.txt-Datei umgehen, indem Sie die folgenden Schritte ausführen:

1. Erstellen Sie eine leere Datei robots.txt (diese dient lediglich als Platzhalter, damit die Regeln nicht angewendet werden).
2. Verwalten Sie die Weiterleitung der URI (Uniform Resource Identifier) robots.txt zu der von Ihnen gewünschten Datei mithilfe einer .htaccess-Datei.

Beispiel

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Erläuterungen

• Das Apache-Modul mod_rewrite ist aktiviert, um Weiterleitungen zu ermöglichen.
• Die Bedingung RewriteCond %{REQUEST_URI} /robots.txt$ prüft, ob die Anfrage die Datei robots.txt betrifft.
• Die Regel RewriteRule ^robots\.txt$ index.php [QSA,L] leitet alle Anfragen an robots.txt an index.php weiter, wobei die Option [QSA] die Anfrageparameter beibehält.

Es wird empfohlen, diese Anweisungen am Anfang der Datei .htaccess zu platzieren.