Questa guida fornisce informazioni sul file robots.txt creato automaticamente per gli hosting web in cui questo file non è presente.

Introduzione

• Il file robots.txt funge da guida per i robot di scansione dei motori di ricerca.
• Viene posizionato nella directory principale di un sito e contiene istruzioni specifiche per questi robot, indicando quali directory o pagine possono esplorare e quali devono ignorare.
• Tuttavia, è importante notare che i robot possono scegliere di ignorare queste direttive, rendendo il file robots.txt più una guida facoltativa che una regola rigida.

Contenuto del file

Se il file robots.txt non è presente su un sito ospitato su Infomaniak, viene automaticamente generato un file con lo stesso nome e con le seguenti direttive:

User-agent: *
Crawl-delay: 10

Queste direttive indicano ai robot di distanziare le proprie richieste di 10 secondi, evitando così di sovraccaricare inutilmente i server.

Come aggirare il file robots.txt predefinito

È possibile aggirare il file robots.txt seguendo questi passaggi:

1. Crea un file vuoto robots.txt (servirà solo come segnaposto per evitare che le regole vengano applicate).
2. Gestisci il reindirizzamento dell'URI (Uniform Resource Identifier) robots.txt al file desiderato utilizzando un file .htaccess.

Esempio

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Spiegazioni

• Il modulo mod_rewrite di Apache è attivo per consentire i reindirizzamenti.
• La condizione RewriteCond %{REQUEST_URI} /robots.txt$ verifica se la richiesta riguarda il file robots.txt.
• La regola RewriteRule ^robots\.txt$ index.php [QSA,L] reindirizza tutte le richieste a robots.txt a index.php, con l'opzione [QSA] che preserva i parametri della richiesta.

Si consiglia di inserire queste istruzioni all'inizio del file .htaccess.