robots.txt文件生成器

1、robots.txt（統一小寫）是一種存放於網站根目錄下的文本文件，它通常告訴網絡搜索引擎蜘蛛，此網站中的哪些內容是可以被收錄哪些不可以被收錄。

2、robots.txt的文件名應統一爲小寫。robots.txt應放置於網站的根目錄下

3、如想單獨定義搜索引擎蜘蛛訪問子目錄的行爲，那麼可以將自定的設置合並到根目錄下的robots.txt

4、robots.txt協議並不是一個規範，而只是約定俗成的，所以並不能保證網站的隱私

5、注意robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有與沒有斜杠“／”表示的是不同的URL

1、搜索引擎蜘蛛的是否可訪問性或者說可爬行性

2、搜索引擎蜘蛛針對目錄或者文件的可訪問性

3、網站站點地圖sitemap路徑定義

4、搜索引擎蜘蛛爬行的時間間隔限製

1、通過web界面設置好要配置的數據， 點擊生成即可生成robots.txt文件內容

2、創建一個空白的文本文件，命名爲：“robots.txt”，然後把上面的內容，複製並粘貼到“robots.txt”中去

3、把“robots.txt”放在你網站的根目錄，訪問robots.txt，確保他能讓搜索蜘蛛訪問到