Dieser Leitfaden enthält Informationen zur standardmäßig erstellten Datei robots.txt für Webhosting, bei denen diese Datei fehlt.

Einleitung

• Die Datei robots.txt dient als Leitfaden für die Suchmaschinen-Crawler.
• Sie befindet sich im Stammverzeichnis einer Website und enthält spezifische Anweisungen für diese Crawler, die angeben, welche Verzeichnisse oder Seiten sie durchsuchen dürfen und welche sie ignorieren sollen.
• Beachten Sie jedoch, dass Roboter diese Anweisungen ignorieren können, wodurch die Datei robots.txt eher eine freiwillige Richtlinie als eine strikte Regel darstellt.

Inhalt der Datei

Wenn die Datei robots.txt auf einer Infomaniak-Website fehlt, wird automatisch eine Datei mit demselben Namen und den folgenden Direktiven generiert:

User-agent: *
Crawl-delay: 10

Diese Anweisungen weisen die Webcrawler an, ihre Anfragen in 10-Sekunden-Abständen zu stellen, um eine unnötige Überlastung der Server zu vermeiden.

Die standardmäßig erstellte robots.txt-Datei umgehen

Es ist möglich, die robots.txt-Datei zu umgehen, indem Sie die folgenden Schritte ausführen:

1. Erstellen Sie eine leere Datei robots.txt (diese dient lediglich als Platzhalter, damit die Regeln nicht angewendet werden).
2. Verwalten Sie die Weiterleitung der URI (Uniform Resource Identifier) robots.txt zu der von Ihnen gewünschten Datei mithilfe einer .htaccess-Datei.

Beispiel

RewriteEngine On RewriteCond %{REQUEST_URI} /robots.txt$ RewriteRule ^robots\.txt$ index.php [QSA,L]

Erläuterungen

Explications

• Das Apache-Modul mod_rewrite ist aktiviert, um Weiterleitungen zu ermöglichen.
• Die Bedingung RewriteCond %{REQUEST_URI} /robots.txt$ prüft, ob die Anfrage die Datei robots.txt betrifft.
• Die Regel RewriteRule ^robots\.txt$ index.php [QSA,L] leitet alle Anfragen an robots.txt an index.php weiter, wobei die Option [QSA] die Anfrageparameter beibehält.

Es wird empfohlen, diese Anweisungen am Anfang der Datei .htaccess zu platzieren.