Robots.txt ジェネレーター
サイトマップ URL、許可・禁止パス、任意のクロール遅延から robots.txt の下書きを作成します。
使い方
使い方
- サイトマップ URL とパスを入力し、必要なら遅延を選びます。
- 内容を確認し、サイトマップと同じサイトのルートにある robots.txt にコピーします。
範囲と制限
User-agent: * の1グループを作成します。サイトマップの取得・検証、ドメインの推測、アクセス制御は行わず、クロールや索引登録を保証しません。 絶対 http:// または https:// のサイトマップ URL と、/ で始まる有効なパスを入力してください。最大100パス、URLは2,048文字、各パスは500文字までです。遅延は0～120の整数です。
標準に関する注意
Crawl-delay は非標準の拡張で、Google 検索は対応していません。対象クローラーの文書で対応が示されている場合だけ使用してください。
よくある質問
あわせて知りたいこと
サイトの公開や確認も行いますか？
いいえ。URL とルールはブラウザー内に留まり、入力の書式を整えるだけです。