O que é o ficheiro robots.txt:

1. O robots.txt (sempre em minúsculas) é um ficheiro de texto armazenado no diretório raiz do site, que normalmente indica aos robôs dos motores de busca quais os conteúdos deste site que podem ser indexados e quais os que não podem.

2. O nome do ficheiro robots.txt deve ser escrito inteiramente em minúsculas. O ficheiro robots.txt deve ser colocado no diretório raiz do site

3. Se pretender definir separadamente o comportamento dos robôs dos motores de busca ao acederem a subdiretórios, pode incorporar as configurações personalizadas no ficheiro robots.txt do diretório raiz

4. O protocolo robots.txt não é uma norma, mas apenas uma convenção, pelo que não garante a privacidade do site

5. Tenha em atenção que o robots.txt utiliza a comparação de cadeias de caracteres para determinar se deve obter um URL; por isso, a presença ou ausência de uma barra “/” no final do diretório indica URLs diferentes

Conteúdo do ficheiro robots.txt

1. Acessibilidade ou rastreabilidade dos robôs dos motores de busca

2. Acessibilidade dos robôs dos motores de busca a diretórios ou ficheiros

3. Definição do caminho do mapa do site (sitemap)

4. Limitação do intervalo de tempo de rastreamento dos robôs dos motores de busca

Sobre o gerador de ficheiros robots.txt

1. Defina os dados a configurar através da interface web e clique em «Gerar» para criar o conteúdo do ficheiro robots.txt

2. Crie um ficheiro de texto em branco, nomeie-o «robots.txt» e, em seguida, copie e cole o conteúdo acima no ficheiro «robots.txt»

3. Coloque o ficheiro «robots.txt» no diretório raiz do seu site, aceda ao ficheiro «robots.txt» e certifique-se de que os robôs dos motores de busca conseguem aceder ao mesmo