ไฟล์ robots.txt คืออะไร:

1. ไฟล์ robots.txt (ใช้ตัวพิมพ์เล็กทั้งหมดเสมอ) เป็นไฟล์ข้อความที่เก็บไว้ในไดเรกทอรีหลักของเว็บไซต์ โดยทั่วไปจะระบุคำแนะนำให้กับโปรแกรมค้นหาของเครื่องมือค้นหาเว็บว่าเนื้อหาใดบนเว็บไซต์ที่สามารถจัดทำดัชนีได้และเนื้อหาใดที่ไม่สามารถจัดทำดัชนีได้

2. ชื่อไฟล์ของ robots.txt ต้องเป็นตัวพิมพ์เล็กทั้งหมด robots.txt ควรถูกวางไว้ในไดเรกทอรีหลักของเว็บไซต์

3. หากคุณต้องการกำหนดกฎเฉพาะสำหรับสไปเดอร์ของเครื่องมือค้นหาที่เข้าถึงไดเรกทอรีย่อย คุณสามารถรวมการตั้งค่าที่กำหนดเองเหล่านี้ไว้ในไฟล์ robots.txt ในไดเรกทอรีหลัก

4. โปรโตคอล robots.txt ไม่ใช่มาตรฐานอย่างเป็นทางการ แต่เป็นเพียงข้อตกลงร่วมกันเท่านั้น ดังนั้นจึงไม่สามารถรับประกันความเป็นส่วนตัวของเว็บไซต์ได้

5. โปรดทราบว่า robots.txt ใช้การเปรียบเทียบสตริงเพื่อกำหนดว่าจะทำการรวบรวมข้อมูล URL หรือไม่ ดังนั้นการมีหรือไม่มีเครื่องหมายทับหลัง "/" ในเส้นทางของไดเรกทอรีจะถือเป็น URL ที่แตกต่างกัน

เนื้อหาของไฟล์ robots.txt

1. ว่าเครื่องมือค้นหาสามารถเข้าถึงหรือสำรวจเว็บไซต์ได้หรือไม่

2. การเข้าถึงไดเรกทอรีหรือไฟล์สำหรับโปรแกรมค้นหาของเสิร์ชเอนจิน

3. การกำหนดเส้นทางของแผนผังเว็บไซต์

4. ข้อจำกัดเกี่ยวกับความถี่ในการเข้าเยี่ยมชมของเครื่องมือค้นหา

เกี่ยวกับตัวสร้างไฟล์ robots.txt

1. กำหนดการตั้งค่าที่ต้องการผ่านเว็บอินเทอร์เฟซ จากนั้นคลิก 'สร้าง' เพื่อสร้างไฟล์ robots.txt

2. สร้างไฟล์ข้อความเปล่าชื่อ "robots.txt" จากนั้นคัดลอกและวางเนื้อหาข้างต้นลงในไฟล์นั้น

3. วางไฟล์ "robots.txt" ไว้ในไดเรกทอรีหลักของเว็บไซต์ของคุณและเข้าถึงไฟล์นั้นเพื่อให้แน่ใจว่าสไปเดอร์ของเครื่องมือค้นหาสามารถเข้าถึงได้