Este guia fornece informações sobre o ficheiro robots.txt criado por defeito para os serviços de alojamento web em que este ficheiro está ausente.

Introdução

• O ficheiro robots.txt funciona como um guia para os robôs de rastreamento dos motores de busca.
• É colocado na raiz de um site e contém instruções específicas para esses robôs, indicando quais diretórios ou páginas eles têm permissão para rastrear e quais devem ignorar.
• No entanto, tenha em atenção que os robôs podem optar por ignorar estas diretrizes, tornando o robots.txt um guia de caráter voluntário em vez de uma regra estrita.

Conteúdo do ficheiro

Se o ficheiro robots.txt estiver ausente de um site Infomaniak, um ficheiro com o mesmo nome é gerado automaticamente com as seguintes diretivas:

User-agent: *
Crawl-delay: 10

Estas diretrizes indicam aos robôs que espaçem as suas requisições em 10 segundos, o que evita sobrecarregar desnecessariamente os servidores.

Como ignorar o ficheiro robots.txt criado por defeito

É possível contornar o arquivo robots.txt seguindo estas etapas:

1. Crie um arquivo vazio robots.txt (ele servirá apenas como um local para que as regras não se apliquem).
2. Gerencie o redirecionamento do URI (Identificador Uniforme de Recursos) robots.txt para o arquivo de sua escolha usando um arquivo .htaccess.

Exemplo

RewriteEngine On RewriteCond %{REQUEST_URI} /robots.txt$ RewriteRule ^robots\.txt$ index.php [QSA,L]

Explicações

Explications

• O módulo mod_rewrite do Apache está ativado para permitir os redirecionamentos.
• A condição RewriteCond %{REQUEST_URI} /robots.txt$ verifica se a solicitação se refere ao arquivo robots.txt.
• A regra RewriteRule ^robots\.txt$ index.php [QSA,L] redireciona todas as solicitações para robots.txt para index.php, com a opção [QSA] que preserva os parâmetros da solicitação.

Recomenda-se colocar estas instruções no início do arquivo .htaccess.