Este guia fornece informações sobre o ficheiro robots.txt criado por defeito para os serviços de alojamento web nos quais este ficheiro está ausente.

Introdução

• O ficheiro robots.txt funciona como um guia para os robôs de rastreamento dos motores de busca.
• É colocado na raiz de um site e contém instruções específicas para esses robôs, indicando quais diretórios ou páginas eles têm permissão para rastrear e quais devem ignorar.
• No entanto, tenha em atenção que os robôs podem optar por ignorar estas diretrizes, tornando o robots.txt um guia de caráter voluntário em vez de uma regra estrita.

Conteúdo do ficheiro

Se o ficheiro robots.txt estiver ausente de um site na Infomaniak, um ficheiro com o mesmo nome é gerado automaticamente com as seguintes diretivas:

User-agent: *
Crawl-delay: 10

Estas diretivas indicam aos robôs que espaçem as suas requisições em 10 segundos, o que evita sobrecarregar desnecessariamente os servidores.

Como ignorar o arquivo robots.txt padrão

É possível ignorar o arquivo robots.txt seguindo estas etapas:

1. Crie um ficheiro vazio robots.txt (servirá apenas como um local para que as regras não se apliquem).
2. Gerencie a redireção do URI (Identificador Uniforme de Recursos) robots.txt para o ficheiro de sua escolha usando um ficheiro .htaccess.

Exemplo

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Explicações

• O módulo mod_rewrite do Apache está ativado para permitir os redirecionamentos.
• A condição RewriteCond %{REQUEST_URI} /robots.txt$ verifica se a solicitação se refere ao arquivo robots.txt.
• A regra RewriteRule ^robots\.txt$ index.php [QSA,L] redireciona todas as solicitações para robots.txt para index.php, com a opção [QSA] que preserva os parâmetros da solicitação.

Recomenda-se colocar estas instruções no início do arquivo .htaccess.