免费工具 AI 爬虫大全
有哪些 AI 爬虫、谁在运营、拿你的页面做什么、怎样逐个允许或屏蔽。每个爬虫的单页只写运营方自己公开的说法，并链到原文。
- 74 个爬虫，与 TapCub 机器人规则同一份
- 24 个单页，事实附出处
- 在浏览器里运行
先查清是谁，再决定拦不拦
按爬虫名、公司或 robots.txt 标记搜索，也可以按用途筛选。带链接的名字可打开单页，看运营方自己的说法。在表格里勾选，下方生成 robots.txt 规则。
| 爬虫 | 运营方 | robots.txt 标记 | 加入 |
|---|---|---|---|
| AI 训练 · 26为模型训练或大型数据集收集网页。屏蔽它们不影响普通搜索收录。 | |||
| GPTBotOpenAI爬虫单页 | OpenAI | GPTBot | |
| ClaudeBotAnthropic爬虫单页 | Anthropic | ClaudeBot | |
| anthropic-aiAnthropic | Anthropic | anthropic-ai | |
| Google-Extended谷歌爬虫单页 | 谷歌 | Google-Extended | |
| GoogleOther谷歌爬虫单页 | 谷歌 | GoogleOther | |
| Applebot-Extended苹果爬虫单页 | 苹果 | Applebot-Extended | |
| Bytespider字节跳动 | 字节跳动 | Bytespider | |
| CCBotCommon Crawl爬虫单页 | Common Crawl | CCBot | |
| Meta-ExternalAgentMeta爬虫单页 | Meta | Meta-ExternalAgent | |
| FacebookBotMeta | Meta | FacebookBot | |
| Amazonbot亚马逊爬虫单页 | 亚马逊 | Amazonbot | |
| cohere-aiCohere | Cohere | cohere-ai | |
| DiffbotDiffbot爬虫单页 | Diffbot | Diffbot | |
| OmgiliWebz.io爬虫单页 | Webz.io | Omgili | |
| TimpibotTimpi | Timpi | Timpibot | |
| PetalBot华为爬虫单页 | 华为 | PetalBot | |
| AI2BotAllen Institute爬虫单页 | Allen Institute | AI2Bot | |
| img2dataset— | — | img2dataset | |
| Kangaroo BotKangaroo LLM | Kangaroo LLM | 没有 robots.txt 标记 | |
| PanguBot华为 | 华为 | PanguBot | |
| VelenPublicWebCrawlerVelen | Velen | VelenPublicWebCrawler | |
| WebzioWebz.io | Webz.io | Webzio | |
| Sidetrade indexer botSidetrade | Sidetrade | 没有 robots.txt 标记 | |
| ImagesiftBotHive爬虫单页 | Hive | ImagesiftBot | |
| DeepSeekBotDeepSeek | DeepSeek | DeepSeekBot | |
| SemrushBot-OCOBSemrush | Semrush | SemrushBot-OCOB | |
| AI 答案引擎 · 14为能引用、链接你的 AI 回答建索引。屏蔽后不会再被这些回答引用。 | |||
| OAI-SearchBotOpenAI爬虫单页 | OpenAI | OAI-SearchBot | |
| Claude-WebAnthropic | Anthropic | Claude-Web | |
| Claude-SearchBotAnthropic爬虫单页 | Anthropic | Claude-SearchBot | |
| PerplexityBotPerplexity爬虫单页 | Perplexity | PerplexityBot | |
| YouBotYou.com爬虫单页 | You.com | YouBot | |
| DuckAssistBotDuckDuckGo爬虫单页 | DuckDuckGo | DuckAssistBot | |
| Doubao字节跳动 | 字节跳动 | Doubao | |
| Kimi月之暗面 | 月之暗面 | 没有 robots.txt 标记 | |
| LinerBotLiner | Liner | LinerBot | |
| AndibotAndi | Andi | Andibot | |
| PhindBotPhind | Phind | PhindBot | |
| Brave Leo AIBrave | Brave | 没有 robots.txt 标记 | |
| iAskBotiAsk | iAsk | iAskBot | |
| Bigsur.aiBigsur | Bigsur | 没有 robots.txt 标记 | |
| AI Agent · 13有人让 AI 助手打开某个页面时才来。部分运营方说 robots.txt 可能不适用。 | |||
| ChatGPT-UserOpenAI爬虫单页 | OpenAI | ChatGPT-User | |
| Claude-UserAnthropic爬虫单页 | Anthropic | Claude-User | |
| Perplexity-UserPerplexity爬虫单页 | Perplexity | Perplexity-User | |
| Meta-ExternalFetcherMeta爬虫单页 | Meta | Meta-ExternalFetcher | |
| MistralAI-UserMistral AI爬虫单页 | Mistral AI | MistralAI-User | |
| Cursor AgentCursor | Cursor | 没有 robots.txt 标记 | |
| DevinCognition | Cognition | 没有 robots.txt 标记 | |
| ManusManus | Manus | 没有 robots.txt 标记 | |
| OpenAI OperatorOpenAI | OpenAI | 没有 robots.txt 标记 | |
| Browser UseBrowser Use | Browser Use | 没有 robots.txt 标记 | |
| FirecrawlAgentFirecrawl | Firecrawl | FirecrawlAgent | |
| NovaAct亚马逊 | 亚马逊 | NovaAct | |
| QuillBotQuillBot | QuillBot | QuillBot | |
| 搜索引擎 · 21传统搜索引擎（百度、必应、搜狗、360 等）。有的也为 AI 回答供数，见各单页。 | |||
| Googlebot-Image谷歌 | 谷歌 | Googlebot-Image | |
| Googlebot-News谷歌 | 谷歌 | Googlebot-News | |
| Googlebot-Video谷歌 | 谷歌 | Googlebot-Video | |
| Google-InspectionTool谷歌 | 谷歌 | Google-InspectionTool | |
| AdsBot-Google谷歌 | 谷歌 | AdsBot-Google | |
| Bingbot微软爬虫单页 | 微软 | Bingbot | |
| AdIdxBot微软 | 微软 | AdIdxBot | |
| Baiduspider百度 | 百度 | Baiduspider | |
| Baiduspider-render百度 | 百度 | Baiduspider-render | |
| 360Spider360 | 360 | 360Spider | |
| YisouSpider神马(阿里) | 神马(阿里) | YisouSpider | |
| ShenmaSpider神马 | 神马 | ShenmaSpider | |
| ToutiaoSpider字节跳动 | 字节跳动 | ToutiaoSpider | |
| YandexBotYandex | Yandex | YandexBot | |
| DuckDuckBotDuckDuckGo | DuckDuckGo | DuckDuckBot | |
| SeznamBotSeznam | Seznam | SeznamBot | |
| ExabotExalead | Exalead | Exabot | |
| QwantifyQwant | Qwant | Qwantify | |
| MojeekBotMojeek | Mojeek | MojeekBot | |
| CoccocbotCốc Cốc | Cốc Cốc | Coccocbot | |
| PetalSearch华为 | 华为 | PetalSearch | |
没有匹配的爬虫。试试公司名或标记的一部分。
分组沿用 TapCub 机器人规则，按访问行为归类；单页里引用的是运营方自己的说法，两者可能不同——做决定时以单页为准。
生成 robots.txt 规则
表格里勾选的爬虫各生成一组。把结果贴到 robots.txt 末尾，文件其余部分不受影响。
放行组会替代该爬虫的 User-agent: * 规则，它因此能访问通配组禁止的路径。robots.txt 只是请求，生成后用 robots.txt 测试工具检查一遍。
# 屏蔽 AI 爬虫 — 由 tapcub.com/tools/ai-bots 生成
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /版本 v1.0更新于 更新记录
决定怎么处理，看这四项
每个爬虫单页都是同一张表，这四行回答了大部分问题。
用途
训练、搜索，还是替用户访问。屏蔽训练爬虫，你的页面不进后续模型；屏蔽搜索爬虫，连带失去会链回你的 AI 回答。
遵守 robots.txt
「是」是运营方自己的说法。「部分」通常指用户发起的访问可能不看 robots.txt——ChatGPT-User、Perplexity-User、meta-externalfetcher 的运营方都这么说。
官方 IP 列表 / 反查 DNS
分辨真爬虫和冒充者的唯一办法。两者都没公布，UA 就只是自称。
未公开
在运营方自己的文档里找不到。我们不拿第三方列表补空——那些列表互相矛盾，也经常过时。
事实按各单页标注的日期与运营方页面核对过。运营方会改文档，以出处链接为准。
从日志里的名字到一条规则
四步，都在浏览器里完成。
-
1
找到爬虫
输入日志里看到的名字，或你想查的公司。按用途筛选，比如只看 AI 训练类。
-
2
打开单页
看运营方说它拿来做什么、是否遵守 robots.txt；复制官方 UA，和宝塔、Nginx 日志里的对照。
-
3
生成规则
在表格里勾选，选屏蔽或放行，复制或下载 robots.txt 规则组。
-
4
检查效果
用 robots.txt 测试工具测一遍；在单页上用官方 IP 列表核对请求真假。
爬虫怎么分组，robots.txt 怎么生效
目录按 TapCub 机器人规则分组。robots.txt 按 RFC 9309 匹配：爬虫只执行 User-agent 与自己标记匹配的那一组，没有这一组才退回 *。
- 有自己一组的爬虫，完全不看
User-agent: *里的规则 - 标记不区分大小写；拼错就什么也匹配不上
- 有些名字只是标记——Google-Extended、Applebot-Extended 从不来访
- 没有公开标记的代理，robots.txt 根本管不到
| 分组 | 做什么 | 屏蔽后 |
|---|---|---|
| AI 训练 | 为模型训练或数据集收集网页 | 只要它遵守 robots.txt，你今后的页面就不进这家的训练 |
| AI 答案引擎 | 为带链接的 AI 回答建索引 | 不再作为来源被引用 |
| AI Agent | 替用户打开页面 | 助手打不开你的页面——前提是它看 robots.txt |
| 搜索引擎 | 传统搜索索引 | 从这个搜索引擎消失；必应等也为 AI 回答供数 |
很多站点起步时用的一套策略
不进模型训练，保留 AI 回答里的曝光，让助手能打开用户问到的页面。下面的标记都有运营方的官方说明。
| 爬虫 | 规则 | 原因 |
|---|---|---|
| GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、meta-externalagent | Disallow: / | 运营方把它们描述为训练爬虫或训练开关。 |
| OAI-SearchBot、Claude-SearchBot、PerplexityBot、DuckAssistBot | Allow: / 或不写 | 它们为能引用、链接你的回答建索引。 |
| ChatGPT-User、Claude-User、Perplexity-User | 不写 | 用户要求才来；OpenAI 和 Perplexity 说 robots.txt 可能本来就不适用。 |
| Baiduspider、Bingbot | 不变 | 搜索引擎。必应说 Copilot 搜索用的是和必应搜索相同的抓取和索引。 |
在上面的表格里勾选这些爬虫即可生成规则组。按自己的目标调整——这是起点，不是对每个站点的建议。
AI 爬虫策略常在哪里出错
多数问题出在标记写法，或者没弄清这个爬虫到底是什么。
把公司名当标记
「OpenAI」「字节跳动」「ChatGPT」都不是标记。用目录里的准确写法——GPTBot、Bytespider、OAI-SearchBot。
连搜索爬虫一起拦
屏蔽 OAI-SearchBot、PerplexityBot 会失去能链回你的 AI 回答。按爬虫决定，不要按公司一刀切。
轻信 UA
谁都能在请求头里写「GPTBot」。没有核对 IP 或反查 DNS，请求就不算验证过。
封 IP 反而丢了退出声明
Anthropic 和 Cohere 都提醒：封它们的 IP 会让爬虫读不到 robots.txt，退出可能不稳定。
看哪些爬虫真的来过
目录告诉你爬虫自称做什么。TapCub 用五层识别、197+ 条规则把机器人和真人分开，AI 爬虫单独统计。
GPTBot、ClaudeBot 是什么爬虫？
爬虫清单从哪里来？
来自 TapCub 识别机器人用的同一套规则：规则里全部 AI 爬虫，加上有 robots.txt 标记的搜索引擎爬虫，共 74 个。单页里的事实另外出自各运营方自己的文档。
国内的 AI 爬虫有哪些官方说明？
目录里的国内爬虫有字节跳动的 Bytespider、Doubao，华为的 PetalBot、PanguBot，以及 DeepSeekBot 等。其中 PetalBot 有华为的官方页面；Bytespider、PanguBot、DeepSeekBot 我们在运营方网站上都没有找到说明，单页里如实写了「未公开」。
为什么单页写着「未公开」？
因为运营方自己的文档里没有写。我们不拿第三方爬虫列表补空，那些列表经常互相矛盾、过时。
屏蔽 AI 爬虫会影响百度、谷歌收录吗？
屏蔽训练类爬虫不碰 Baiduspider 和 Googlebot；Google 也说屏蔽 Google-Extended 不影响搜索收录和排名。只有屏蔽搜索引擎爬虫本身，才会从那个搜索引擎消失。
怎样确认请求真的来自 GPTBot、ClaudeBot？
运营方公布了 IP 列表或反查域名的爬虫可以核对。每个单页都有官方列表链接和浏览器内的 IP 核对，粘贴的内容不会上传。
没有 robots.txt 标记的代理怎么办？
有些浏览类代理没有公开标记，robots.txt 管不到。目录里标着「没有 robots.txt 标记」；要拦只能在 Nginx / 宝塔或 CDN 上按 UA 或 IP 拦，TapCub 的机器人报表照样会统计它们。