Robots.txt 生成器
根据站点地图网址、允许和禁止路径以及可选抓取延迟生成 robots.txt 草稿。
使用步骤
如何使用
- 输入站点地图网址和路径，再选择可选延迟。
- 检查文本，并复制到与站点地图同一站点根目录的 robots.txt。
范围与限制
生成一个 User-agent: * 分组。不会获取或验证站点地图，不猜测域名，不控制访问，也不保证抓取或索引。 请输入绝对 http:// 或 https:// 站点地图网址及以 / 开始的有效路径。最多 100 条路径，网址最多 2,048 个字符，每条路径最多 500 个字符。抓取延迟为 0–120 的整数。
标准说明
Crawl-delay 是非标准扩展，Google 搜索不支持。仅在目标爬虫文档声明支持时使用。
常见问题
你可能还想知道
会发布或检查我的站点吗？
不会。网址和规则保留在此浏览器内；工具仅格式化输入内容。