免费工具 robots.txt 生成器：一键屏蔽 AI 训练爬虫
从一个预设开始，逐个打开或关掉爬虫，加上网站需要的禁止目录和 Sitemap，下载就能用。每个选择都附一句话说明它会带来什么，以及 robots.txt 做不到什么。
- 43 个 AI 爬虫
- 复制或下载
- 本地生成
先选策略，再微调
默认屏蔽 AI 训练爬虫，保留搜索引擎、AI 搜索和 AI 助手的抓取。任意修改，下面的文件会跟着更新。
从预设开始
预设只改爬虫开关或路径，不动你填的 Sitemap。「WordPress 默认规则」写的是 WordPress 自带的两行；WordPress 5.5 起还会列出 /wp-sitemap.xml。
整站屏蔽这些爬虫
一行一个，如 /admin/、/*?sessionid=。路径区分大小写。
一行一个：被禁止的目录里仍然要让爬虫抓的页面。
完整网址，一行一个。Sitemap 对所有爬虫都有效。
Google、百度都不认；必应和 ClaudeBot 会遵守。没有爬虫把服务器抓爆就别填。
# 由 tapcub.com/tools/robots-txt-generator 生成
User-agent: *
Disallow: /admin/
Disallow: /cart
Disallow: /search
# AI 训练爬虫
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: FacebookBot
User-agent: Amazonbot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: Omgili
User-agent: Timpibot
User-agent: AI2Bot
User-agent: img2dataset
User-agent: PanguBot
User-agent: VelenPublicWebCrawler
User-agent: Webzio
User-agent: ImagesiftBot
User-agent: DeepSeekBot
User-agent: SemrushBot-OCOB
Disallow: /
Sitemap: https://www.example.cn/sitemap.xml
以 robots.txt 为文件名上传到每个主机名的根目录（宝塔面板里就是网站根目录），浏览器打开 https://你的域名/robots.txt 确认。再把它和重点网址贴到 robots.txt 测试里核对一遍。
这份文件能做到和做不到的
- 说明Google-Extended 是一个控制用的 token，不是单独的爬虫，实际抓取的是 Googlebot。Google 说它不影响 Google 搜索的收录和排名。
- 说明Disallow 只管抓取，不管收录。被禁止的网址如果有外链，Google 仍可能收录一个没有摘要的结果。必须不出现在搜索结果里的页面，应放开抓取并加 noindex。
- 说明robots.txt 是公开的、靠自觉的：谁都能看到你列的路径，不守规矩的爬虫也拦不住。后台、内部页面要靠登录保护，不要靠 Disallow。
分享这组输入：数值写在链接的 # 后面，不会发到服务器。
https://tapcub.com/zh/tools/robots-txt-generator
版本 v1.0更新于 更新记录
生成的文件是怎么组织的
输出的结构永远一样，方便核对，以后也好改。
User-agent: * 这一组
你填的允许、禁止路径，还有 Crawl-delay（如果填了）。所有没有单独分组的爬虫都按这几行来，包括百度和 Google。只有一行空的 Disallow: 表示「什么都不禁止」。
按用途分组屏蔽
要屏蔽的爬虫按用途写在一条注释下面，每个爬虫一行 User-agent，最后一行 Disallow: /。多行 User-agent 共用一组规则是 RFC 9309 的标准写法，文件更短。
Allow 写在前面
例外放行写在它所在目录的 Disallow 前面。Google、必应按最长规则判定，顺序无所谓；百度的文档写的是第一条匹配的生效，按这个顺序两边结果一致。
Sitemap 放最后
Sitemap 行不属于任何分组，对所有爬虫有效。每个 sitemap 或 sitemap 索引写一次，用完整网址。
有自己分组的爬虫不会再看 * 组，所以被屏蔽的爬虫只需要一行 Disallow: /，不用把 * 里的路径重复一遍。
四步用完
算上测试大约两分钟。
-
1
选一个预设
内容站一般选「屏蔽 AI 训练，保留 AI 搜索」。电商和 SaaS 想让豆包、ChatGPT 这类助手推荐自己，就保留 AI 搜索和 AI 助手。
-
2
调整爬虫和路径
逐个开关爬虫，加上永远不想被抓的目录（后台、购物车、站内搜索、会产生重复页面的参数）以及其中的例外。
-
3
填 Sitemap
贴完整的 sitemap 网址。只有当某个会遵守 Crawl-delay 的爬虫把服务器压得吃力时，才填 Crawl-delay。
-
4
下载、上传、测试
存成 robots.txt 放到网站根目录，浏览器打开确认，再用 robots.txt 测试工具把重点网址跑一遍。
它是给爬虫的请求，不是访问控制
robots.txt 请自动程序别去抓网站的某些部分。知名爬虫会遵守，但没有任何东西强制执行。
- 能做到：告诉守规矩的爬虫跳过哪些路径；按爬虫名退出 AI 训练；告诉所有爬虫 Sitemap 在哪
- 做不到：隐藏网址（文件是公开的）；让页面不被收录（用 noindex）；拦住不守规矩的采集程序（在服务器或 CDN 拦）
- 用户触发的抓取可能例外：OpenAI、Perplexity、Meta 说用户请求的抓取不一定适用 robots.txt；Anthropic 说 Claude-User 会遵守
- 改了不会立刻生效：Google 一般最多缓存 24 小时；OpenAI 说它的搜索系统大约需要 24 小时调整
| 爬虫类型 | 例子 | 写 Disallow: / 的效果 |
|---|---|---|
| AI 训练 | GPTBot、ClaudeBot、Bytespider、CCBot | 内容不再被收集去训练模型；不影响搜索排名 |
| AI 答案引擎 | OAI-SearchBot、PerplexityBot、Doubao | 不进这些 AI 搜索的索引，回答里不会引用你 |
| AI 助手抓取 | ChatGPT-User、Claude-User、Perplexity-User | 看运营方：有的说 robots.txt 不一定适用 |
| 搜索引擎 | Baiduspider、Googlebot、Bingbot | 页面不被抓取；有外链时网址仍可能被收录（无摘要） |
| SEO 工具 | AhrefsBot、MJ12bot、DotBot | 这些工具的外链、审计数据里没有你的网站 |
三类网站，三种写法
同一个生成器，三种不同目标。每一行都是一个预设加一点修改。
| 网站 | 选择 | 生成的内容 | 原因 |
|---|---|---|---|
| 资讯站 | 屏蔽 AI 训练，保留 AI 搜索 | 一组训练类爬虫 Disallow: /；* 组禁止 /search | 文章不进训练集，同时还能被 AI 搜索引用 |
| 电商站 | 全部允许 + 路径 | Disallow: /cart、/checkout/、/*?sort=；Sitemap | 希望各家助手都能推荐商品，只挡没有搜索价值的页面 |
| WordPress 博客 | WordPress 默认规则 + 屏蔽全部 AI | Disallow: /wp-admin/、Allow: /wp-admin/admin-ajax.php 和 AI 分组 | 前台调用 admin-ajax.php 的功能对爬虫仍然可用 |
不管选哪种，都别把 CSS、JS、图片目录屏蔽掉，否则搜索引擎渲染不出页面。用建站程序自带的 robots.txt 时，先看一眼它有没有禁掉模板、静态资源目录。
生成的文件常见的问题
文件只是一半，放在哪、怎么返回同样重要。
把测试站的文件带上线
测试站的 Disallow: / 跟着代码发到正式站，整站就悄悄停止被抓取了。每次发布后看一眼线上文件。
误挡 AI 搜索
「屏蔽全部 AI」也会挡住 OAI-SearchBot、PerplexityBot、Doubao，这些 AI 搜索就不再引用你。要有意识地决定。
在文件里写敏感路径
每一行都是公开的。Disallow: /houtai-2025/ 等于把后台地址告诉了所有人。后台要靠登录保护。
文件格式不对
必须是纯文本、文件名正好是 robots.txt、放在主机根目录、返回 200，不能是伪静态转出来的 HTML 页面。
看看爬虫有没有照做
robots.txt 只是请求。TapCub 的机器人报表记录哪些爬虫来过、来得多频繁、读了哪些页面，和真人访问分开统计。
怎么用 robots.txt 屏蔽 AI 爬虫？
给每个爬虫 token 写一组 Disallow: /，比如 User-agent: GPTBot。「屏蔽 AI 训练」预设会把列表里所有训练类爬虫都写上；「屏蔽全部 AI」再加上 AI 搜索和 AI 助手。各家的 token 是分开的，屏蔽 GPTBot 不会顺带屏蔽 OAI-SearchBot。
屏蔽 GPTBot、Bytespider 会影响百度和 Google 的收录吗？
不会。它们是 AI 训练爬虫，和百度蜘蛛、Googlebot 是不同的 token。Google 还专门说明 Google-Extended 不影响 Google 搜索的收录和排名。但屏蔽 OAI-SearchBot、PerplexityBot 这类 AI 搜索爬虫，会让你从对应的 AI 搜索里消失。
AI 助手会遵守 robots.txt 吗？
看运营方。Anthropic 说 Claude-User 会遵守；OpenAI 说 ChatGPT-User 可能不适用 robots.txt，Perplexity 说 Perplexity-User 一般不遵守，Meta 说 Meta-ExternalFetcher 可能绕过，理由都是「这是用户要求打开的」。要挡住它们，只能在服务器或 CDN 上按 UA 拦截。
robots.txt 放在哪里？
放在每个主机名的根目录：https://www.example.cn/robots.txt。m 站、子域名要各放一份。宝塔面板里就是网站根目录；WordPress 有真实的 robots.txt 文件时，会替代它自动生成的那份。
要不要写 Crawl-delay？
一般不用。Google 不认，Yandex 2018 年起不再支持，百度文档里也没有这一项；必应和 ClaudeBot 会遵守。嫌百度抓得太频繁，到百度搜索资源平台调整抓取频次。
空的 robots.txt 和没有 robots.txt 一样吗？
效果一样，都是全部允许。但放一份小文件仍然值得：日志里不会再有 404，还能告诉爬虫 Sitemap 在哪。
robots.txt 能保护后台和隐私页面吗？
不能。文件是公开的，遵守与否全靠自觉。私密内容用登录保护，不想被收录的页面用 noindex。