Questa guida fornisce informazioni sul file robots.txt creato di default per gli hosting web su cui questo file è assente.

Premessa

• Il file robots.txt funge da guida per i robot di indicizzazione dei motori di ricerca
• È posizionato alla radice di un sito web e contiene istruzioni specifiche per questi robot, indicando quali directory o pagine sono autorizzati a esplorare e quali devono ignorare
• Attenzione, tuttavia, i robot possono scegliere di ignorare queste direttive, rendendo il robots.txt un guida volontaria piuttosto che una regola rigorosa

Contenuto del file

Se il file robots.txt è assente da un sito Infomaniak, un file con lo stesso nome viene generato automaticamente con le seguenti direttive:

User-agent: *
Crawl-delay: 10

Queste direttive indicano ai robot di spaziare le loro richieste di 10 secondi, evitando così di sovraccaricare inutilmente i server.

Aggirare il robots.txt creato di default

È possibile aggirare il robots.txt seguendo questi passaggi:

1. Crea un file vuoto robots.txt (sarà utilizzato solo come posizione affinché le regole non si applichino).
2. Gestisci la reindirizzazione dell'URI (Uniform Resource Identifier) robots.txt verso il file di tua scelta utilizzando un file .htaccess.

Esempio

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Spiegazioni

• Il modulo mod_rewrite di Apache è abilitato per consentire le reindirizzazioni.
• La condizione RewriteCond %{REQUEST_URI} /robots.txt$ verifica se la richiesta riguarda il file robots.txt.
• La regola RewriteRule ^robots\.txt$ index.php [QSA,L] reindirizza tutte le richieste a robots.txt verso index.php, con l'opzione [QSA] che conserva i parametri della richiesta.

È consigliabile posizionare queste istruzioni all'inizio del file .htaccess.