robots.txt 检查器
粘贴 robots.txt 文本，在本地检查指令分组并发现常见语法问题。
使用步骤
如何使用
- robots.txt 文本
- 本地检查
范围与限制
此检查器只读取你粘贴的文本，不请求网站，也不测试实时抓取。它检查常见的 User-agent、Allow、Disallow、Sitemap 和 Host 语法、分组结构、重复指令及不支持的行；不是完整的 Google 或 robots 排除标准实现。
常见问题
你可能还想知道
robots.txt 文本
此检查器只读取你粘贴的文本，不请求网站，也不测试实时抓取。它检查常见的 User-agent、Allow、Disallow、Sitemap 和 Host 语法、分组结构、重复指令及不支持的行；不是完整的 Google 或 robots 排除标准实现。