免费工具 AI 爬虫 robots.txt 检查器
粘贴你网站的 robots.txt,逐个看它对各 AI 爬虫的许可。再勾选想拦住的爬虫,复制规则。解析在浏览器里完成——不会向你的网站发请求。
- 43 个 AI 爬虫 UA
- 标出起决定作用的规则
- 本地运行
粘贴 robots.txt,读结果
打开 https://你的网站/robots.txt,全选复制,粘贴到下面。表格会随输入实时更新。默认文本是一份可替换的示例文件。
已预载示例文件——替换成你自己的。注释和 Sitemap 行会被忽略。
允许
0
部分限制
40
禁止
3
未声明
0
逐个爬虫看
爬虫遵守专门写给它的组;没有的话遵守 User-agent: *;两者都没有,就可以抓取全部内容。
| 爬虫 | 用途 | 决定性规则 | 状态 |
|---|---|---|---|
| GPTBotOpenAI | 模型训练 | Disallow: /有专门的 User-agent 组 | 禁止 |
| ChatGPT-UserOpenAI | 按用户请求抓取 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| OAI-SearchBotOpenAI | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| ClaudeBotAnthropic | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Claude-WebAnthropic | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Claude-UserAnthropic | 按用户请求抓取 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Claude-SearchBotAnthropic | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| anthropic-aiAnthropic | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| PerplexityBotPerplexity | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Perplexity-UserPerplexity | 按用户请求抓取 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Google-ExtendedGoogle | 模型训练 | Disallow: /有专门的 User-agent 组 | 禁止 |
| GoogleOtherGoogle | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Applebot-ExtendedApple | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Bytespider字节跳动 | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| CCBotCommon Crawl | 模型训练 | Disallow: /有专门的 User-agent 组 | 禁止 |
| Meta-ExternalAgentMeta | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Meta-ExternalFetcherMeta | 按用户请求抓取 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| FacebookBotMeta | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| AmazonbotAmazon | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| cohere-aiCohere | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| DiffbotDiffbot | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| OmgiliWebz.io | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| YouBotYou.com | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| DuckAssistBotDuckDuckGo | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| MistralAI-UserMistral AI | 按用户请求抓取 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| TimpibotTimpi | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| PetalBot华为 | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| AI2BotAllen Institute | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| img2dataset— | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| PanguBot华为 | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| VelenPublicWebCrawlerVelen | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| WebzioWebz.io | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| ImagesiftBotHive | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| DeepSeekBotDeepSeek | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| Doubao字节跳动 | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| FirecrawlAgentFirecrawl | 按用户请求抓取 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| NovaActAmazon | 按用户请求抓取 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| LinerBotLiner | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| AndibotAndi | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| PhindBotPhind | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| SemrushBot-OCOBSemrush | 模型训练 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| QuillBotQuillBot | 按用户请求抓取 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
| iAskBotiAsk | AI 搜索索引 | Disallow: /admin/ Disallow: /cart沿用 User-agent: * | 部分限制 |
生成规则
勾选想拦住的爬虫,把结果粘到 robots.txt 末尾——每个爬虫一组,其他内容不受影响。
# AI 爬虫 — 由 tapcub.com/tools/ai-crawler 生成
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /robots.txt 是请求,不是锁。知名爬虫会遵守;不遵守的那些,正是机器人报表存在的意义。
版本 v2.0更新于 更新记录
新检查的 AI 爬虫从 11 个扩到 TapCub 机器人规则里的全部,每个爬虫都能点进单独的说明页。
每种状态到底是什么意思
顶部的四个计数是对表格的汇总;每一行的状态是对你这份文件的解读,而不是强制执行。四种状态里有两种容易看错。
允许 vs 未声明
「允许」是有规则明确放这个爬虫进来;「未声明」是根本没有规则提到它。效果一样——它都可以抓——但「未声明」意味着将来加一条通配规则就会开始对它生效。
部分限制
爬虫被挡在部分路径之外,但没被挡在整站之外。通常它沿用 User-agent: *,只有你写的 /admin/ 或 /cart 规则对它起作用。对多数 AI 爬虫来说,这仍然意味着你的内容可读。
禁止
有规则请求爬虫远离整站。这是请求,不是锁——「决定性规则」那一列会显示是哪一行产生的结果,你可以确认它就是你想写的那条。
决定性规则
每个结论都指出背后的那一行,以及它来自爬虫自己的组还是通配组。某个状态出乎意料时,先读那一行——几乎总是 token 拼错,或是沿用了 *。
robots.txt 表达的是意愿。爬虫是否照做是另一回事,只有机器人报表能回答。
检查器应用的四条规则
与守规矩的爬虫相同的逻辑,简化到对 AI 爬虫真正重要的几种情况。
-
1
找到属于这个爬虫的组
一个组以一行或多行 User-agent 开始。爬虫匹配 token 与自己名字相符的组(不区分大小写),并且只有那个组对它生效。
-
2
退回到通配组
没有自己的组?爬虫就遵守 User-agent: *。表格会标注「沿用 *」,提醒你这个结论是间接的。
-
3
读 Disallow 和 Allow
Disallow: / 禁止全部;空的 Disallow 允许全部;其他路径算部分限制。Allow: / 会覆盖整站禁止。
-
4
完全没有组就是允许
一份从未提到某个爬虫、也没有 * 组的 robots.txt 对它没有任何限制。「未声明」实际上等于「允许」。
AI 爬虫做的不是同一件事
全部屏蔽是一种选择,不是默认。训练爬虫复制内容用于训练模型;搜索爬虫为能回链的 AI 回答建索引;助手抓取是因为有人提出了请求。
- 训练:GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、Bytespider、CCBot、meta-externalagent;亚马逊说 Amazonbot 抓的内容也可能用于训练它的模型
- AI 搜索:OAI-SearchBot、Claude-SearchBot、PerplexityBot——屏蔽它们会让你从对应的 AI 回答里消失
- 助手抓取:ChatGPT-User、Claude-User、Perplexity-User——由用户提问触发,OpenAI 和 Perplexity 说自家的这类访问可能不受 robots.txt 约束
- 策略会变,发布前以各厂商文档里的当前 token 名为准
合理的策略长什么样
不想让内容进入下一个模型就屏蔽训练爬虫;想被引用就保留搜索和助手类。片段生成器的默认勾选就是这个分法。
- GPTBot禁止
- ClaudeBot禁止
- OAI-SearchBot允许
- PerplexityBot允许
- ChatGPT-User允许
机器人报表补上的那一块
robots.txt 表达你的意愿;TapCub 的机器人报表显示它们实际做了什么:每个爬虫每天的请求数、抓了哪些页、被禁止的那个有没有继续来。
AI 爬虫请求 · 近 7 天
默认文件说了什么
示例 robots.txt 点名屏蔽了三个训练爬虫,其他所有爬虫沿用通配规则,而通配规则只限制 /admin/ 和 /cart。
User-agent: *
Disallow: /admin/
Disallow: /cart
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /GPTBot、Google-Extended、CCBot → 禁止
各自有专门的组且写了 Disallow: /。通配组里的任何规则都不再对它们生效。
ClaudeBot、PerplexityBot、Bytespider…… → 部分限制
没有自己的组,所以沿用 User-agent: *,只被挡在 /admin/ 和 /cart 之外,其他全部开放。
如果删掉 * 组 → 未声明
没有通配组时,没被点名的爬虫不受任何限制。大多数网站正处于这种状态。
改动上方检查器里的文本,状态会跟着变化。
robots.txt 为什么没按你的意思生效
文件很简单,匹配规则却不直观。
以为 * 规则会叠加到点名组上
不会。有自己组的爬虫完全忽略通配组——包括你写的 Disallow: /admin/。
token 写错
「ChatGPT」「OpenAI」都不是 token。爬虫认的是 GPTBot、OAI-SearchBot 或 ChatGPT-User。拼错了就悄悄匹配不到任何东西。
把 robots.txt 当成强制手段
它只是请求。守规矩的爬虫会遵守,其他的会无视。看机器人报表才知道谁真的照做了。
误伤搜索类爬虫
禁止 OAI-SearchBot 或 PerplexityBot,会让你从本来会链接到你的 AI 回答里消失。逐个爬虫决定。
看爬虫实际做了什么
TapCub 用五层识别、197+ 条规则把真人与机器人分开,并把 AI 爬虫单列一类——按爬虫、按页面、按天报告。
robots.txt 怎么屏蔽 AI 爬虫?
每个爬虫写一组:User-agent: GPTBot 下一行 Disallow: /。在上面「生成规则」里勾选要屏蔽的爬虫,把生成的片段贴到 robots.txt 末尾,再把整份文件粘回检查器:点名的爬虫都应显示「禁止」,起作用的是它自己的规则组。宝塔或 Nginx 站点直接改网站根目录下的 robots.txt 即可。
检查器会去抓我网站的 robots.txt 吗?
不会。它只在你的浏览器里解析你粘贴的文本。不会向你的域名发请求,也不会把内容发给 TapCub。
屏蔽 AI 爬虫会影响搜索排名吗?
屏蔽 GPTBot、Google-Extended 这类训练爬虫不影响常规搜索收录。屏蔽 AI 搜索爬虫只会让你从对应的 AI 回答里消失。
爬虫清单从哪来?
和 TapCub 识别机器人用的是同一份规则:规则里所有带 robots.txt 标识的 AI 爬虫,共 43 个。代用户浏览、没有公开标识的智能体没法在 robots.txt 里单独写规则,所以不列在这里;机器人报表里仍然会统计它们。
爬虫无视 robots.txt 怎么办?
那 robots.txt 就帮不上忙了,你需要看到流量本身。TapCub 的机器人报表按爬虫列出请求,便于你决定是否在服务端封禁。见机器人识别。
GPTBot、OAI-SearchBot、ChatGPT-User 有什么区别?
OpenAI 公开说明了三个不同的爬虫:GPTBot 收集可能用于训练模型的网页;OAI-SearchBot 为 ChatGPT 的搜索功能建索引;ChatGPT-User 在用户让 ChatGPT 查看某个网页时才去抓取。GPTBot 和 OAI-SearchBot 各自遵守自己的 User-agent 规则组,所以可以禁止训练,同时仍出现在 ChatGPT 搜索结果里。ChatGPT-User 是用户要求打开的,OpenAI 说 robots.txt 规则对它可能不适用。