Что такое файл robots.txt:

1. robots.txt (все буквы строчные) — это текстовый файл, который хранится в корневом каталоге веб-сайта. Обычно он указывает поисковым роботам, какой контент сайта можно индексировать, а какой — нет.

2. Имя файла robots.txt должно быть написано строчными буквами. Файл robots.txt должен находиться в корневом каталоге сайта

3. Если вы хотите отдельно определить поведение поисковых роботов при посещении подкаталогов, то можно объединить настраиваемые параметры в файле robots.txt, расположенном в корневом каталоге

4. Протокол robots.txt не является стандартом, а лишь общепринятой практикой, поэтому он не может гарантировать конфиденциальность сайта

5. Обратите внимание, что robots.txt использует сравнение строк для определения, следует ли загружать URL, поэтому наличие или отсутствие косой черты «/» в конце каталога означает разные URL

Содержимое файла robots.txt

1. Доступность или сканируемость для поисковых роботов

2. Доступность каталогов или файлов для поисковых роботов

3. Определение пути к карте сайта (sitemap)

4. Ограничение интервала времени сканирования поисковыми роботами

О генераторе файла robots.txt

1. Настройте необходимые данные через веб-интерфейс, нажмите «Генерировать», чтобы создать файл robots.txt

2. Создайте пустой текстовый файл с именем «robots.txt», затем скопируйте и вставьте в него приведенное выше содержимое

3. Поместите файл «robots.txt» в корневой каталог вашего сайта и проверьте доступ к нему для поисковых роботов