Tệp robots.txt là gì:

1. robots.txt (viết toàn bộ bằng chữ thường) là một tệp văn bản được lưu trữ trong thư mục gốc của trang web, thường dùng để thông báo cho các công cụ tìm kiếm biết những nội dung nào trên trang web này được phép thu thập và những nội dung nào không được phép.

2. Tên tệp robots.txt phải được viết toàn bộ bằng chữ thường. Tệp robots.txt nên được đặt trong thư mục gốc của trang web

3. Nếu muốn định nghĩa riêng hành vi truy cập của các công cụ tìm kiếm vào các thư mục con, bạn có thể kết hợp các thiết lập tùy chỉnh vào tệp robots.txt trong thư mục gốc

4、Thỏa thuận robots.txt không phải là một tiêu chuẩn, mà chỉ là một quy ước thông thường, do đó không thể đảm bảo tính riêng tư của trang web

5、Lưu ý rằng robots.txt sử dụng so sánh chuỗi ký tự để xác định xem có lấy URL hay không, do đó việc có hoặc không có dấu gạch chéo “／” ở cuối thư mục sẽ biểu thị các URL khác nhau

Nội dung tệp robots.txt

1. Khả năng truy cập hoặc thu thập dữ liệu của bot tìm kiếm

2. Khả năng truy cập của bot tìm kiếm đối với thư mục hoặc tệp

3. Định nghĩa đường dẫn sơ đồ trang web (sitemap)

4、Giới hạn khoảng thời gian thu thập dữ liệu của bot tìm kiếm

Về công cụ tạo tệp robots.txt

1、Cài đặt dữ liệu cần cấu hình qua giao diện web, nhấp vào "Tạo" để tạo nội dung tệp robots.txt

2、Tạo một tệp văn bản trống, đặt tên là “robots.txt”, sau đó sao chép và dán nội dung ở trên vào tệp “robots.txt”

3、Đặt tệp “robots.txt” vào thư mục gốc của trang web, truy cập tệp robots.txt để đảm bảo rằng các con bọ tìm kiếm có thể truy cập được