ما هو ملف robots.txt:

1. ملف robots.txt (يكتب بأحرف صغيرة) هو ملف نصي يتم تخزينه في الدليل الجذري للموقع، وعادةً ما يحدد لمحركات البحث على الويب المحتوى الذي يمكن فهرسته والمحتوى الذي لا يمكن فهرسته في هذا الموقع.

2. يجب أن يكون اسم ملف robots.txt مكتوبًا بأحرف صغيرة. ويجب وضع ملف robots.txt في الدليل الجذري للموقع

3. إذا كنت ترغب في تحديد سلوك برامج زحف محركات البحث عند الوصول إلى الدلائل الفرعية بشكل منفصل، فيمكنك دمج الإعدادات المخصصة في ملف robots.txt الموجود في الدليل الجذري

4. بروتوكول robots.txt ليس معيارًا، بل مجرد عرف متعارف عليه، لذا لا يمكنه ضمان خصوصية الموقع

5. لاحظ أن ملف robots.txt يستخدم مقارنة سلاسل الأحرف لتحديد ما إذا كان سيتم الحصول على عنوان URL أم لا، لذا فإن وجود أو عدم وجود شرطة مائلة "/" في نهاية الدليل يشير إلى عناوين URL مختلفة

محتوى ملف robots.txt

1. إمكانية وصول برامج الزحف الخاصة بمحركات البحث أو إمكانية الزحف

2. إمكانية وصول برامج الزحف الخاصة بمحركات البحث إلى الدلائل أو الملفات

3. تعريف مسار خريطة الموقع (sitemap)

4. قيود الفاصل الزمني لزحف عناكب محركات البحث

حول أداة إنشاء ملف robots.txt

1. قم بتعيين البيانات المطلوب تكوينها عبر واجهة الويب، ثم انقر على "إنشاء" لإنشاء محتوى ملف robots.txt

2. قم بإنشاء ملف نصي فارغ، واسمه: "robots.txt"، ثم انسخ المحتوى أعلاه والصقه في ملف "robots.txt"

3. ضع ملف "robots.txt" في الدليل الجذري لموقعك، وقم بزيارة robots.txt للتأكد من أنه يمكن لروبوتات البحث الوصول إليه