检查 robots.txt 的 user-agent、allow/disallow、sitemap、crawl-delay 和不支持的指令。
- 本地处理
- 分类 开发运维
- 适合 格式化、校验、压缩或检查和代码相关的文本。
- 1 crawl-delay directives found; major search engines may ignore them.
- 1 disallow-all rules found.
这个工具能做什么
Robots.txt 审计器会把 robots.txt 变成可读的抓取控制报告。粘贴文件后, 它会整理 user-agent 分组、列出 allow 和 disallow 规则、提取 sitemap URL、统计 crawl-delay、标记全站禁止抓取、发现格式异常行, 并提醒 noindex 这类不可靠指令。它适合 SEO 上线、测试站切生产、网站迁移、CMS 模板更新和流量突然下降后的快速复核。CSV 导出能让增长、内容和工程团队看到同一份规则清单, 不需要命令行。robots.txt 往往会暴露后台、测试路径或旧目录, 所以工具只在浏览器本地运行, 不抓取、不上传。 对 SEO 来说, 这个工具能帮助确认 sitemap 是否声明、重要目录是否被误挡、旧规则是否还在影响新版站点。对开发和运维来说, 它能把一份容易被忽略的纯文本配置变成可审计、可导出的规则表, 适合放进上线检查和迁移复盘流程。遇到收录异常、抓取下降或误把测试规则带到生产时, 先跑一次 robots 清单通常比直接猜原因更快。
工具细节
- 输入
- 文件 + 文本 + 数值
- 页面会根据工具类型展示文本框、数值控件、文件选择或结构化输入。
- 输出
- 即时结果 + 复制 + 下载
- 结果区优先给出可操作结果，支持项会显示复制、下载或可视化预览。
- 隐私
- 浏览器本地处理
- 主工具逻辑未发现外部 API 调用，输入通常留在当前标签页内处理。
- 保存 / 分享
- 可分享链接状态
- 关键设置会进入 URL，复制链接后别人能复现同一组参数。
- 性能预算
- 首屏 JS ≤ 118 KB
- 没有声明 WASM 依赖，适合快速打开和移动端使用。
- 适用场景
- 开发运维 · 营销人
- 分类和职业标签用于推荐相关工具、组织内链，并帮助用户快速判断是否适合当前任务。
怎么用
-
1. 输入
把内容粘贴或拖入工具面板。
-
2. 处理
点击按钮,在浏览器内本地处理,文件不上传。
-
3. 复制 / 下载
一键复制结果或下载到本地。
Robots.txt 审计器 适合怎么用
适合穿插在写代码、查问题、做 Review、上线前的小任务里。
适合开发场景
- 格式化、校验、压缩或检查和代码相关的文本。
- 把片段整理好再放进文档、工单、提交或交接材料。
- 不切换工具,快速检查一个小 payload。
开发检查项
- 压缩、混淆这类不可逆处理,先对副本操作。
- 除非确认工具本地处理,不要粘贴密钥和敏感片段。
- 转换后的代码上线前,仍要跑自己的测试或 lint。
下一步可以接着做
这些入口会把当前任务接到更完整的工具链里。
真实使用场景
上线前检查网站
发布前确认关键目录没有被禁止抓取, sitemap 指令也已经存在。
排查自然流量下降
流量下降后, 快速对照 robots.txt 改动和抓取控制风险。
常见踩坑
测试环境用了很宽的禁止规则, 结果同一份 robots.txt 被发到生产。
以为 robots.txt noindex 可以可靠地让页面从搜索结果消失。
隐私说明
robots 规则可能暴露私有路径。工具只处理本地粘贴文本。
常见问题
类似工具组合
做你这行的人, 还会一起用这些。