Smart Tools
博客文章
Theme
Поиск
User login
  • 全局设置

  • 限制目录

  • Sitemap

  • 国内搜索引擎

  • 国外搜索引擎

开始生成 复制 清空
Что такое файл robots.txt:

1. robots.txt (все буквы строчные) — это текстовый файл, который хранится в корневом каталоге веб-сайта. Обычно он указывает поисковым роботам, какой контент сайта можно индексировать, а какой — нет.

2. Имя файла robots.txt должно быть написано строчными буквами. Файл robots.txt должен находиться в корневом каталоге сайта

3. Если вы хотите отдельно определить поведение поисковых роботов при посещении подкаталогов, то можно объединить настраиваемые параметры в файле robots.txt, расположенном в корневом каталоге

4. Протокол robots.txt не является стандартом, а лишь общепринятой практикой, поэтому он не может гарантировать конфиденциальность сайта

5. Обратите внимание, что robots.txt использует сравнение строк для определения, следует ли загружать URL, поэтому наличие или отсутствие косой черты «/» в конце каталога означает разные URL

Содержимое файла robots.txt

1. Доступность или сканируемость для поисковых роботов

2. Доступность каталогов или файлов для поисковых роботов

3. Определение пути к карте сайта (sitemap)

4. Ограничение интервала времени сканирования поисковыми роботами

О генераторе файла robots.txt

1. Настройте необходимые данные через веб-интерфейс, нажмите «Генерировать», чтобы создать файл robots.txt

2. Создайте пустой текстовый файл с именем «robots.txt», затем скопируйте и вставьте в него приведенное выше содержимое

3. Поместите файл «robots.txt» в корневой каталог вашего сайта и проверьте доступ к нему для поисковых роботов

Recommended Tools
Главная Поиск Избранное Язык