生成 robots.txt,内置 Google / Bing / AI 爬虫常见模板。
- 本地处理
- 分类 生成器
- 适合 从空白开始,先拿到一版可修改的结果。
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
这个工具能做什么
一个可视化的 robots.txt 生成器,专为认真对待"谁能爬我"的站点设计。 可以叠加任意数量的 User-agent 分组,每组独立配置 Allow / Disallow 规则和可选的 Crawl-delay,最下方追加一行或多行 Sitemap URL,输出面板 每次按键实时重建文件内容。内置 4 个生产级模板:"全部允许"(营销站 的默认安全配置)、"全部禁止"(网站施工期)、"屏蔽 AI 爬虫"(精选 通配名单,覆盖 GPTBot、ClaudeBot、Claude-Web、CCBot、PerplexityBot、 Google-Extended、anthropic-ai、FacebookBot、applebot-extended、 Meta-ExternalAgent、Bytespider 这 11 个真实 GSC 日志里训练数据爬虫 ~95% 流量来源)、"WordPress 优化版"(屏蔽 /wp-admin/、/wp-includes/、 常见搜索和筛选 URL,同时放行 admin-ajax.php 保证插件正常工作)。 一键复制给你可直接粘贴的文件文本,下载按钮则导出标准 robots.txt 文件。 100% 浏览器本地运行,不上传、不注册、写的规则不会被记录。
工具细节
- 输入
- 文本 + 数值
- 页面会根据工具类型展示文本框、数值控件、文件选择或结构化输入。
- 输出
- 即时结果 + 复制 + 下载
- 结果区优先给出可操作结果，支持项会显示复制、下载或可视化预览。
- 隐私
- 浏览器本地处理
- 主工具逻辑未发现外部 API 调用，输入通常留在当前标签页内处理。
- 保存 / 分享
- 免账号使用
- 打开页面即可使用；刷新后是否保留结果取决于具体工具。
- 性能预算
- 首屏 JS ≤ 18 KB
- 没有声明 WASM 依赖，适合快速打开和移动端使用。
- 适用场景
- 生成器 · 程序员
- 分类和职业标签用于推荐相关工具、组织内链，并帮助用户快速判断是否适合当前任务。
怎么用
-
1. 输入
把内容粘贴或拖入工具面板。
-
2. 处理
点击按钮,在浏览器内本地处理,文件不上传。
-
3. 复制 / 下载
一键复制结果或下载到本地。
robots.txt 生成器 适合怎么用
适合快速生成初稿、起步素材或结构化结果,再人工整理后发布。
适合生成任务
- 从空白开始,先拿到一版可修改的结果。
- 生成可重复使用的草稿、名称、模板或占位素材。
- 先探索多个选项,再挑最适合当前任务的。
生成检查项
- 生成内容发给客户、上页面或进文档前,必须人工看过。
- 有品牌语气、格式或受众要求时,不要沿用默认值。
- 只保留真正符合任务的部分。
下一步可以接着做
这些入口会把当前任务接到更完整的工具链里。
真实使用场景
给刚上线的内容站挡住训练爬虫
你刚发了 200 篇菜谱博客,翻访问日志发现 GPTBot 和 CCBot 吃掉了 40% 带宽。选「屏蔽 AI 爬虫」模板,Googlebot 和 Bingbot 保持「全部 允许」,导出文件传到站根。一天内守规矩的爬虫就退场,源站负载下来 了,搜索引擎照常收录。
把测试站或施工期站点整个封掉
客户演示挂在 staging.acme.com,你一点都不想让它进 Google 索引。 用「全部禁止」模板,它会写 User-agent: * 加 Disallow: /,复制到 测试站根目录,两下点击就搞定。正式上线时切回「全部允许」重新上传, 不用手改任何路径。
给 WordPress 站调优又不弄坏插件
你的 WooCommerce 商城在 /wp-admin/ 和几十个 ?orderby= 筛选 URL 上 浪费爬虫预算。「WordPress 优化版」模板屏蔽这些路径,同时放行 admin-ajax.php,购物车和结算的 AJAX 照常工作。底部补一行 Sitemap, 一份干净文件 30 秒搞定,不用磨 20 分钟。
在被屏蔽目录里单独放行一个文件
你屏蔽了 /downloads/ 不让爬,但想让 /downloads/pricing-2026.pdf 这份公开白皮书保持可收录。在同一组里先写 Disallow: /downloads/, 再写 Allow: /downloads/pricing-2026.pdf。实时预览会按 Googlebot 的 「最长匹配优先」规则展示,上传前你能先核对清楚。
常见踩坑
不小心在全局组写了 Disallow: /,把整站从索引里抹掉。上传前务必重读一遍 User-agent: * 那一组,再在 Search Console 里测几个线上 URL。
以为 Disallow 能让页面从搜索里消失。被屏蔽的 URL 只要有外链,照样可能裸排名(没摘要);真想下架的页面要用 noindex meta 标签。
漏掉 Sitemap 那一行,导致 DuckDuckGo 这类小爬虫永远发现不了。它只占文件底部一行,而且每个 SEO 审计工具都会看。
隐私说明
所有处理都在你的浏览器里完成。你填的 User-agent 分组、Allow/Disallow 规则和 Sitemap URL 不会上传、不被记录、不发往任何服务器,工具也不需要 注册。如果你开启 URL 分享配置,这些规则会成为链接的一部分,所以不想出 现在分享链接里的内部域名就别贴进去。
常见问题
类似工具组合
做你这行的人, 还会一起用这些。