Deze handleiding geeft informatie over het bestand robots.txt dat standaard wordt aangemaakt voor webhosting waar dit bestand nog niet aanwezig is.

Inleiding

• Het bestand robots.txt fungeert als een handleiding voor de zoekmachinescrawlers.
• Het wordt in de hoofdmap van een website geplaatst en bevat specifieke instructies voor deze crawlers, waarin staat welke mappen of pagina's ze wel en niet mogen indexeren.
• Houd er echter rekening mee dat robots ervoor kunnen kiezen om deze richtlijnen te negeren, waardoor robots.txt meer een vrijwillige richtlijn is dan een strikte regel.

Inhoud van het bestand

Als het bestand robots.txt ontbreekt op een Infomaniak-website, wordt er automatisch een bestand met dezelfde naam gegenereerd met de volgende richtlijnen:

User-agent: *
Crawl-delay: 10

Deze instructies geven aan dat zoekmachines hun verzoeken met een interval van 10 seconden moeten uitvoeren, om onnodige belasting van de servers te voorkomen.

De standaard robots.txt-configuratie overschrijven

Het is mogelijk om de werking van het robots.txt-bestand te omzeilen door de volgende stappen te volgen:

1. Maak een leeg bestand robots.txt aan (dit dient uitsluitend als tijdelijke locatie zodat de regels niet van toepassing zijn).
2. Beheer de doorverwijzing van de URI (Uniform Resource Identifier) robots.txt naar het bestand van uw keuze met behulp van een .htaccess-bestand.

Voorbeeld

RewriteEngine On RewriteCond %{REQUEST_URI} /robots.txt$ RewriteRule ^robots\.txt$ index.php [QSA,L]

Uitleg

Explications

• De module mod_rewrite van Apache is geactiveerd om redirects mogelijk te maken.
• De voorwaarde RewriteCond %{REQUEST_URI} /robots.txt$ controleert of de aanvraag betrekking heeft op het bestand robots.txt.
• De regel RewriteRule ^robots\.txt$ index.php [QSA,L] leidt alle verzoeken naar robots.txt door naar index.php, waarbij de optie [QSA] ervoor zorgt dat de queryparameters behouden blijven.

Het wordt aanbevolen om deze instructies aan het begin van het bestand .htaccess te plaatsen.