generador de archivos robots.txt

1. El archivo robots.txt (siempre en minúsculas) es un archivo de texto que se almacena en el directorio raíz de un sitio web y que, por lo general, indica a los rastreadores de los motores de búsqueda qué contenidos del sitio web pueden indexarse y cuáles no.

2. El nombre del archivo robots.txt debe escribirse íntegramente en minúsculas. El archivo robots.txt debe ubicarse en el directorio raíz del sitio web.

3. Si se desea definir de forma independiente el comportamiento de los rastreadores de los motores de búsqueda al acceder a subdirectorios, se pueden incorporar las configuraciones personalizadas al archivo robots.txt del directorio raíz.

4. El protocolo robots.txt no es una norma, sino una convención, por lo que no garantiza la privacidad del sitio web.

5. Tenga en cuenta que el archivo robots.txt utiliza la comparación de cadenas de caracteres para determinar si se debe rastrear una URL; por lo tanto, la presencia o ausencia de una barra «/» al final del directorio indica que se trata de una URL diferente.

1. Accesibilidad o rastreabilidad de los rastreadores de los motores de búsqueda

2. Accesibilidad de los rastreadores de los motores de búsqueda a los directorios o archivos

3. Definición de la ruta del mapa del sitio (sitemap)

4. Restricciones en el intervalo de tiempo de rastreo de los robots de los motores de búsqueda

1. Configure los datos que desee a través de la interfaz web y haga clic en «Generar» para crear el contenido del archivo robots.txt

2. Crea un archivo de texto en blanco, asígnale el nombre «robots.txt» y, a continuación, copia y pega el contenido anterior en dicho archivo

3. Coloque el archivo «robots.txt» en el directorio raíz de su sitio web y acceda a él para asegurarse de que los rastreadores de los motores de búsqueda puedan acceder a él