Deze handleiding bevat informatie over het standaard gegenereerde bestand robots.txt voor webhosting, en wat te doen als dit bestand ontbreekt.

Inleiding

• Het bestand robots.txt dient als leidraad voor de zoekmachinecrawlers.
• Het bevindt zich in de hoofdmap van een website en bevat specifieke instructies voor deze crawlers, waarin staat welke mappen of pagina's ze mogen doorzoeken en welke ze moeten negeren.
• Houd er echter rekening mee dat de crawlers deze richtlijnen kunnen negeren, waardoor de robots.txt meer een vrijwillige leidraad wordt dan een strikte regel.

Inhoud van het bestand

Als het bestand robots.txt op een Infomaniak-website ontbreekt, wordt er automatisch een bestand met dezelfde naam aangemaakt met de volgende richtlijnen:

User-agent: *
Crawl-delay: 10

Deze richtlijnen geven de crawlers de opdracht om hun verzoeken met 10 seconden te vertragen, waardoor onnodige overbelasting van de servers wordt voorkomen.

De standaard gegenereerde robots.txt omzeilen

Het is mogelijk om de robots.txt te omzeilen door de volgende stappen te volgen:

1. Maak een leeg bestand robots.txt aan (dit dient alleen als tijdelijke oplossing, zodat de regels niet worden toegepast).
2. Beheer de omleiding van de URI (Uniform Resource Identifier) robots.txt naar het door u gekozen bestand met een .htaccess-bestand.

Voorbeeld

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Uitleg

• De module mod_rewrite van Apache is geactiveerd om omleidingen mogelijk te maken.
• De voorwaarde RewriteCond %{REQUEST_URI} /robots.txt$ controleert of de aanvraag betrekking heeft op het bestand robots.txt.
• De regel `RewriteRule ^robots\.txt$ index.php [QSA,L]` stuurt alle verzoeken naar `robots.txt` door naar `index.php`, waarbij de optie `[QSA]` ervoor zorgt dat de queryparameters behouden blijven.

Het wordt aanbevolen om deze instructies bovenaan het bestand `.htaccess` te plaatsen.