Questa guida fornisce informazioni sul file robots.txt creato automaticamente per gli hosting web in cui tale file non è presente.

Introduzione

• Il file robots.txt funge da guida per i robot di scansione dei motori di ricerca.
• Viene posizionato nella directory principale di un sito web e contiene istruzioni specifiche per questi robot, indicando quali directory o pagine possono esplorare e quali devono ignorare.
• Tuttavia, è importante notare che i robot possono scegliere di ignorare queste direttive, rendendo il file robots.txt più una guida facoltativa che una regola rigida.

Contenuto del file

Se il file robots.txt non è presente in un sito Infomaniak, viene automaticamente generato un file con lo stesso nome e le seguenti direttive:

User-agent: *
Crawl-delay: 10

Queste direttive indicano ai robot di distanziare le proprie richieste di 10 secondi, evitando così di sovraccaricare inutilmente i server.

Come modificare il file robots.txt creato automaticamente

È possibile aggirare il file robots.txt seguendo questi passaggi:

1. Creare un file vuoto robots.txt (servirà solo come segnaposto per evitare che vengano applicate le regole).
2. Gestisci il reindirizzamento dell'URI (Uniform Resource Identifier) robots.txt al file desiderato utilizzando un file .htaccess.

Esempio

RewriteEngine On RewriteCond %{REQUEST_URI} /robots.txt$ RewriteRule ^robots\.txt$ index.php [QSA,L]

Spiegazioni

Explications

• Il modulo mod_rewrite di Apache è attivo per consentire i reindirizzamenti.
• La condizione RewriteCond %{REQUEST_URI} /robots.txt$ verifica se la richiesta riguarda il file robots.txt.
• La regola RewriteRule ^robots\.txt$ index.php [QSA,L] reindirizza tutte le richieste a robots.txt a index.php, con l'opzione [QSA] che preserva i parametri della richiesta.

Si consiglia di inserire queste istruzioni all'inizio del file .htaccess.