¿Qué es el archivo robots.txt?:

1. El archivo robots.txt (siempre en minúsculas) es un archivo de texto que se almacena en el directorio raíz de un sitio web y que, por lo general, indica a los rastreadores de los motores de búsqueda qué contenidos de ese sitio web pueden indexarse y cuáles no.

2. El nombre del archivo robots.txt debe escribirse siempre en minúsculas. El archivo robots.txt debe ubicarse en el directorio raíz del sitio web

3. Si se desea definir de forma independiente el comportamiento de los rastreadores de los motores de búsqueda al acceder a subdirectorios, se pueden incorporar las configuraciones personalizadas al archivo robots.txt del directorio raíz

4. El protocolo robots.txt no es una norma, sino una convención, por lo que no garantiza la privacidad del sitio web

5. Ten en cuenta que el archivo robots.txt utiliza la comparación de cadenas para determinar si se debe obtener una URL, por lo que la presencia o ausencia de una barra «/» al final del directorio indica una URL diferente

Contenido del archivo robots.txt

1. Accesibilidad o rastreabilidad de los rastreadores de los motores de búsqueda

2. Accesibilidad de los rastreadores de los motores de búsqueda a directorios o archivos

3. Definición de la ruta del mapa del sitio (sitemap)

4. Restricciones sobre la frecuencia de rastreo de los robots de los motores de búsqueda

Acerca del generador de archivos robots.txt

1. Configure los datos que desee a través de la interfaz web y haga clic en «Generar» para crear el contenido del archivo robots.txt

2. Crea un archivo de texto en blanco, asígnale el nombre «robots.txt» y, a continuación, copia y pega el contenido anterior en el archivo «robots.txt»

3. Coloca el archivo «robots.txt» en el directorio raíz de tu sitio web y accede a él para asegurarte de que los rastreadores de los motores de búsqueda puedan acceder a él