Gerador de arquivo robots.txt

1. O robots.txt (sempre em letras minúsculas) é um arquivo de texto armazenado no diretório raiz do site, que normalmente indica aos robôs dos mecanismos de busca quais conteúdos do site podem ser indexados e quais não podem.

2. O nome do arquivo robots.txt deve ser escrito inteiramente em letras minúsculas. O arquivo robots.txt deve ser colocado no diretório raiz do site

3. Se desejar definir separadamente o comportamento dos robôs dos mecanismos de busca ao acessarem subdiretórios, é possível incorporar essas configurações personalizadas ao arquivo robots.txt no diretório raiz

4. O protocolo robots.txt não é uma norma, mas apenas uma convenção, portanto, não garante a privacidade do site

5. Observe que o robots.txt usa comparação de strings para determinar se uma URL deve ser rastreada; portanto, a presença ou ausência da barra “/” no final do diretório indica URLs diferentes

1. A acessibilidade ou rastreabilidade para os robôs dos mecanismos de busca

2. A acessibilidade de diretórios ou arquivos para os robôs dos mecanismos de busca

3. Definição do caminho do mapa do site (sitemap)

4. Limitação do intervalo de tempo de rastreamento pelos robôs dos mecanismos de busca

1. Configure os dados desejados na interface web e clique em “Gerar” para criar o conteúdo do arquivo robots.txt

2. Crie um arquivo de texto em branco, nomeie-o como “robots.txt” e, em seguida, copie e cole o conteúdo acima no arquivo “robots.txt”

3. Coloque o arquivo “robots.txt” no diretório raiz do seu site, acesse o arquivo e certifique-se de que ele esteja acessível aos robôs de busca