AI 爬虫 · Diffbot Diffbot：知识图谱爬虫
Diffbot 为其知识图谱和网页搜索抓取。下面是 Diffbot 公开的信息——包括它说什么情况下可以不按 robots.txt——每条链到出处。
- 搜索 / AI 回答
- robots.txt：部分遵守
- 未公开验证方法
Diffbot 一览
Diffbot官方公开的 Diffbot 信息，每条都链到出处。需要哪条 robots.txt 规则直接复制；日志里的 IP 是不是真的 Diffbot，也能在这里核对。
运营方对 Diffbot 的说明
每一行都链到出处。「未公开」表示在运营方自己的文档里找不到。
UA 样例
只公布了 robots.txt 标记，没有完整 UA。 Diffbot 只公布了 robots.txt 标记。其抓取产品的客户可以自己设置 UA，这些请求可能完全不带 Diffbot 字样。
robots.txt 规则
把其中一组加到 robots.txt 末尾。标记不区分大小写。
User-agent: Diffbot
Disallow: /User-agent: Diffbot
Allow: /点名 Diffbot 的组会替代 User-agent: * 对它的规则。只想拦一个目录，把 / 换成目录，如 Disallow: /private/。
版本 v1.0更新于 更新记录
决定怎么处理，看这四项
每个爬虫单页都是同一张表，这四行回答了大部分问题。
用途
训练、搜索，还是替用户访问。屏蔽训练爬虫，你的页面不进后续模型；屏蔽搜索爬虫，连带失去会链回你的 AI 回答。
遵守 robots.txt
「是」是运营方自己的说法。「部分」通常指用户发起的访问可能不看 robots.txt——ChatGPT-User、Perplexity-User、meta-externalfetcher 的运营方都这么说。
官方 IP 列表 / 反查 DNS
分辨真爬虫和冒充者的唯一办法。两者都没公布，UA 就只是自称。
未公开
在运营方自己的文档里找不到。我们不拿第三方列表补空——那些列表互相矛盾，也经常过时。
事实按各单页标注的日期与运营方页面核对过。运营方会改文档，以出处链接为准。
从日志里的名字到一条规则
四步，都在浏览器里完成。
-
1
找到爬虫
输入日志里看到的名字，或你想查的公司。按用途筛选，比如只看 AI 训练类。
-
2
打开单页
看运营方说它拿来做什么、是否遵守 robots.txt；复制官方 UA，和宝塔、Nginx 日志里的对照。
-
3
生成规则
在表格里勾选，选屏蔽或放行，复制或下载 robots.txt 规则组。
-
4
检查效果
用 robots.txt 测试工具测一遍；在单页上用官方 IP 列表核对请求真假。
爬虫怎么分组，robots.txt 怎么生效
目录按 TapCub 机器人规则分组。robots.txt 按 RFC 9309 匹配：爬虫只执行 User-agent 与自己标记匹配的那一组，没有这一组才退回 *。
- 有自己一组的爬虫，完全不看
User-agent: *里的规则 - 标记不区分大小写；拼错就什么也匹配不上
- 有些名字只是标记——Google-Extended、Applebot-Extended 从不来访
- 没有公开标记的代理，robots.txt 根本管不到
| 分组 | 做什么 | 屏蔽后 |
|---|---|---|
| AI 训练 | 为模型训练或数据集收集网页 | 只要它遵守 robots.txt，你今后的页面就不进这家的训练 |
| AI 答案引擎 | 为带链接的 AI 回答建索引 | 不再作为来源被引用 |
| AI Agent | 替用户打开页面 | 助手打不开你的页面——前提是它看 robots.txt |
| 搜索引擎 | 传统搜索索引 | 从这个搜索引擎消失；必应等也为 AI 回答供数 |
四份 robots.txt 对 Diffbot 的效果
Diffbot 只看 User-agent 与 Diffbot 匹配的那一组（不区分大小写）；没有这一组，才退回 User-agent: *。
| robots.txt | Diffbot 的结果 | 原因 |
|---|---|---|
User-agent: Diffbot Disallow: / | 禁止 | 它自己的组禁止了整站。 |
User-agent: * Disallow: / | 禁止 | 没有自己的组，继承通配组。 |
User-agent: * Disallow: / User-agent: Diffbot Allow: / | 允许 | 点名的组完全取代通配组，* 里的规则对它不再生效。 |
User-agent: Diffbot Disallow: /private/ | 除 /private/ 外都允许 | 只有以 /private/ 开头的路径被禁止。 |
Diffbot说用户发起的请求可能不受 robots.txt 约束，这些结果只代表你的请求，不是保证。
AI 爬虫策略常在哪里出错
多数问题出在标记写法，或者没弄清这个爬虫到底是什么。
把公司名当标记
「OpenAI」「字节跳动」「ChatGPT」都不是标记。用目录里的准确写法——GPTBot、Bytespider、OAI-SearchBot。
连搜索爬虫一起拦
屏蔽 OAI-SearchBot、PerplexityBot 会失去能链回你的 AI 回答。按爬虫决定，不要按公司一刀切。
轻信 UA
谁都能在请求头里写「GPTBot」。没有核对 IP 或反查 DNS，请求就不算验证过。
封 IP 反而丢了退出声明
Anthropic 和 Cohere 都提醒：封它们的 IP 会让爬虫读不到 robots.txt，退出可能不稳定。
看哪些爬虫真的来过
目录告诉你爬虫自称做什么。TapCub 用五层识别、197+ 条规则把机器人和真人分开，AI 爬虫单独统计。
Diffbot 是什么？
Diffbot 由Diffbot运营。Diffbot 说 Diffbot 代理主动抓取，用于通用搜索引擎（知识图谱和网页搜索），不用于 AI 训练。
Diffbot 遵守 robots.txt 吗？
Diffbot 说其抓取默认遵守 robots.txt（含 disallow 和 crawl-delay），但特定情况下可以忽略，通常基于与该网站的协议。
怎么屏蔽 Diffbot？
在 robots.txt 里写 User-agent: Diffbot 和 Disallow: /。但Diffbot说它的部分请求可能不看 robots.txt，确实要拦就在服务器层再加一道，例如 Nginx / 宝塔站点配置里加 if ($http_user_agent ~* "Diffbot") { return 403; }。
怎么确认请求真的来自 Diffbot？
Diffbot没有公开 IP 列表或 DNS 域名，UA 里写着「Diffbot」的请求无法证明真假。把 UA 当成自称，不要当成身份。
为什么会有不带 Diffbot 字样、却由 Diffbot 产品发起的抓取？
Diffbot 说其抓取产品的客户可以自己设置 UA，所以这些请求不一定自称 Diffbot。
Diffbot-User 是什么？
Diffbot 说它是另一个代理，用于代表使用 Diffbot 软件的真人发出的请求，有自己的 robots.txt 标记。