robots.txtファイル生成器

1、robots.txt（すべて小文字）は、ウェブサイトのルートディレクトリに配置されるテキストファイルであり、通常、検索エンジンのクローラーに対して、このサイト内のどのコンテンツをインデックスに登録してよいか、どのコンテンツを登録してはいけないかを指示するものです。

2、robots.txtのファイル名はすべて小文字で統一する必要があります。robots.txtはウェブサイトのルートディレクトリに配置してください

3、検索エンジンのクローラーによるサブディレクトリへのアクセスについて個別に定義したい場合は、その設定をルートディレクトリ下のrobots.txtに追加することができます

4、robots.txtプロトコルは規格ではなく、あくまで慣習的なものであるため、ウェブサイトのプライバシーを保証するものではありません

5、robots.txtは文字列比較によってURLの取得可否を判断するため、ディレクトリ名の末尾にスラッシュ「／」がある場合とない場合では、異なるURLとして扱われる点に注意してください

1、検索エンジンのクローラーによるアクセス可否、すなわちクロール可否

2、ディレクトリまたはファイルに対する検索エンジンのクローラーのアクセス可否

3、サイトマップ（sitemap）のパス定義

4、検索エンジンのクローラーによるクロール間隔の制限

1、Webインターフェースで設定したいデータを設定し、「生成」をクリックするだけでrobots.txtファイルの内容が生成されます

2、空のテキストファイルを作成し、「robots.txt」という名前を付け、上記の内容をコピーして「robots.txt」に貼り付けます

3、「robots.txt」をウェブサイトのルートディレクトリに配置し、robots.txtにアクセスして、検索クローラーがアクセスできることを確認します