Deze handleiding bevat informatie over het bestand robots.txt dat standaard wordt aangemaakt voor webhosting waar dit bestand nog niet aanwezig is.

Inleiding

• Het bestand robots.txt fungeert als een handleiding voor de zoekmachinescrawlers.
• Het wordt in de hoofdmap van een website geplaatst en bevat specifieke instructies voor deze crawlers, waarin staat welke mappen of pagina's ze wel en niet mogen indexeren.
• Houd er echter rekening mee dat robots ervoor kunnen kiezen om deze richtlijnen te negeren, waardoor robots.txt meer een vrijwillige richtlijn is dan een strikte regel.

Inhoud van het bestand

Als het bestand robots.txt op een website bij Infomaniak ontbreekt, wordt er automatisch een bestand met dezelfde naam gegenereerd met de volgende richtlijnen:

User-agent: *
Crawl-delay: 10

Deze richtlijnen geven aan dat zoekmachines hun verzoeken met een interval van 10 seconden moeten uitvoeren, om onnodige belasting van de servers te voorkomen.

De standaard robots.txt omzeilen

Het is mogelijk om de robots.txt te omzeilen door de volgende stappen te volgen:

1. Maak een leeg bestand robots.txt aan (dit dient uitsluitend als tijdelijke locatie zodat de regels niet van toepassing zijn).
2. Beheer de omleiding van de URI (Uniform Resource Identifier) robots.txt naar het bestand van uw keuze met behulp van een .htaccess-bestand.

Voorbeeld

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Uitleg

• De module mod_rewrite van Apache is geactiveerd om redirects mogelijk te maken.
• De voorwaarde RewriteCond %{REQUEST_URI} /robots.txt$ controleert of de aanvraag betrekking heeft op het bestand robots.txt.
• De regel RewriteRule ^robots\.txt$ index.php [QSA,L] leidt alle verzoeken naar robots.txt door naar index.php, waarbij de optie [QSA] ervoor zorgt dat de queryparameters behouden blijven.

Het wordt aanbevolen om deze instructies aan het begin van het bestand .htaccess te plaatsen.