Meta Robots 标签生成器
选择搜索爬虫指令，复制生成的标签并放入 HTML 页面的 head。
留空表示不显式设置上限。
将标签添加到 HTML 页面的 head。爬虫必须能抓取页面才能读取；此规则不控制访问权限。
使用步骤
如何使用
- 选择索引和链接跟随规则。
- 设置摘要和图片预览选项。
- 复制 meta 标签到页面 HTML head。
仅生成页面级 HTML 标签
此工具生成 HTML 页面使用的 robots meta 标签，不生成 robots.txt 规则，也不生成非 HTML 资源使用的 X-Robots-Tag HTTP 响应头。
爬虫必须能访问页面
爬虫只有在能抓取页面时才能读取此指令。如果 robots.txt 屏蔽了 URL，爬虫可能看不到 noindex 标签；此标签不是访问控制，也不会立即移除已收录 URL。
常见问题
你可能还想知道
noindex 会阻止抓取吗？
不会。它要求支持该指令的爬虫不要索引页面，但爬虫仍需能够访问页面以读取标签。
所有搜索引擎都会完全相同地处理吗？
不能保证。各爬虫支持和解释的指令不同，请查阅目标爬虫的文档。