robots.txt テスター
robots.txt のテキストを貼り付け、指令グループと一般的な構文問題をローカルで確認します。
使い方
使い方
- robots.txt テキスト
- ローカルで確認
範囲と制限
貼り付けたテキストだけを読み取ります。サイトを取得したり、実際のクロールを試したりしません。一般的な User-agent、Allow、Disallow、Sitemap、Host の構文、グループ構造、重複指令、未対応行を確認します。Google や robots 排除標準の完全実装ではありません。
よくある質問
あわせて知りたいこと
robots.txt テキスト
貼り付けたテキストだけを読み取ります。サイトを取得したり、実際のクロールを試したりしません。一般的な User-agent、Allow、Disallow、Sitemap、Host の構文、グループ構造、重複指令、未対応行を確認します。Google や robots 排除標準の完全実装ではありません。