Esta guía proporciona información sobre el archivo robots.txt que se crea por defecto para los servicios de alojamiento web en los que este archivo no está presente.

Introducción

• El archivo robots.txt actúa como una guía para los robots de rastreo de los motores de búsqueda.
• Se coloca en la raíz de un sitio web y contiene instrucciones específicas para estos robots, indicando qué directorios o páginas pueden rastrear y cuáles deben ignorar.
• Tenga en cuenta, sin embargo, que los robots pueden optar por ignorar estas directrices, lo que convierte al archivo robots.txt en una guía orientativa en lugar de una regla estricta.

Contenido del archivo

Si el archivo robots.txt no está presente en un sitio de Infomaniak, se genera automáticamente un archivo con el mismo nombre y las siguientes directivas:

User-agent: *
Crawl-delay: 10

Estas directivas indican a los robots que espacien sus solicitudes en intervalos de 10 segundos, lo que evita sobrecargar innecesariamente los servidores.

Cómo modificar el archivo robots.txt creado por defecto

Es posible sortear el archivo robots.txt siguiendo estos pasos:

1. Cree un archivo vacío llamado robots.txt (servirá únicamente como marcador para que las reglas no se apliquen).
2. Administre la redirección del URI (Identificador Uniforme de Recursos) robots.txt al archivo que desee utilizando un archivo .htaccess.

Ejemplo

RewriteEngine On RewriteCond %{REQUEST_URI} /robots.txt$ RewriteRule ^robots\.txt$ index.php [QSA,L]

Explicación

Explications

• El módulo mod_rewrite de Apache está activado para permitir las redirecciones.
• La condición RewriteCond %{REQUEST_URI} /robots.txt$ comprueba si la solicitud se refiere al archivo robots.txt.
• La regla RewriteRule ^robots\.txt$ index.php [QSA,L] redirige todas las solicitudes a robots.txt a index.php, con la opción [QSA] que conserva los parámetros de la solicitud.

Se recomienda colocar estas instrucciones al principio del archivo .htaccess.