免费工具 模拟爬虫抓取:搜索引擎和 AI 爬虫看到的,和浏览器一样吗?
填一个网址、选几个爬虫。页面会用 Chrome 的身份抓一次,再用每个爬虫的身份各抓一次,结果并排列出:状态码、最终地址、大小、标题、正文字数、索引指令,以及有没有被防火墙拦下。robots.txt 一栏告诉你这个爬虫按规则能不能抓这个网址。
- 搜索引擎和 AI 爬虫
- 逐个爬虫判定 robots.txt
- 点了才发请求
用爬虫身份抓一个网址
填一个页面,选一个爬虫或一组爬虫。点「检查」之前,下面是 bbc.com 的示例结果。
check.tapcub.com,由它从 Cloudflare 的网络用页面上显示的 User-Agent 去访问,请求里带 From: tools@tapcub.com,再把状态码、响应头和页面前 512 KB 返回给你的浏览器。一次检查用 2–5 个请求:robots.txt、Chrome 身份的页面、每个爬虫身份的页面。这些请求来自 Cloudflare 的 IP,不是百度、Google、OpenAI、Anthropic 的 IP,按 IP 验证爬虫的网站会把它当成冒充的爬虫,可能直接拦掉。服务端只为限流记录域名、状态码和耗时,不记路径、参数和页面内容,也不保存检查结果。额度:每个 IP 每分钟 10 次、每天 200 次请求。网站上的一个页面。robots.txt 从同一个主机名取。
每多一个爬虫就多一个请求(每分钟上限 10 个)。
差异与检查
都和 Chrome 那一行比较。
- 通过每个爬虫拿到的状态码、地址、标题都和 Chrome 一样,正文量也基本一致。
- 警告robots.txt 第 154 行「Disallow: /」禁止 GPTBot 抓这个网址,但服务器照样返回了页面。robots.txt 只是请求,不是门锁:守规矩的 GPTBot 根本不会来抓。
- 警告robots.txt 第 133 行「Disallow: /」禁止 ClaudeBot 抓这个网址,但服务器照样返回了页面。robots.txt 只是请求,不是门锁:守规矩的 ClaudeBot 根本不会来抓。
- 警告robots.txt 第 174 行「Disallow: /」禁止 PerplexityBot 抓这个网址,但服务器照样返回了页面。robots.txt 只是请求,不是门锁:守规矩的 PerplexityBot 根本不会来抓。
- 提示页面超过 512 KB,标题和字数只按前 512 KB 计算。
并排对比
鼠标悬停在 robots.txt 结果上可以看到起决定作用的规则。
| 抓取身份 | robots.txt | 状态码 | 最终网址 | 大小 | 标题 | 字数 | 索引指令 | 防火墙 |
|---|---|---|---|---|---|---|---|---|
| Chrome (desktop) | — | 200 | https://www.bbc.com/ | 695 kB | BBC Home | Breaking News, World News, US News, Sports, Busin… | 2,747 | noodp, noydir | 未发现 |
| GPTBot | 禁止 | 200 | https://www.bbc.com/ | 695 kB | BBC Home | Breaking News, World News, US News, Sports, Busin… | 2,747 | noodp, noydir | 未发现 |
| ClaudeBot | 禁止 | 200 | https://www.bbc.com/ | 695 kB | BBC Home | Breaking News, World News, US News, Sports, Busin… | 2,747 | noodp, noydir | 未发现 |
| PerplexityBot | 禁止 | 200 | https://www.bbc.com/ | 695 kB | BBC Home | Breaking News, World News, US News, Sports, Busin… | 2,750 | noodp, noydir | 未发现 |
分享这组输入:数值写在链接的 # 后面,不会发到服务器。
https://tapcub.com/zh/tools/fetch-as-bot
版本 v1.0更新于 更新记录
出现差异说明什么
Chrome 那一行是基准。爬虫那一行和它不一样,原因无非下面几种。
状态码不同(403、429、503)
一般是防火墙或防爬规则。有的网站有意屏蔽 AI 爬虫;也有的网站开了「屏蔽爬虫」开关,把想要的搜索引擎也一起拦了。
人机验证页
出现「Just a moment…」或滑块、验证码页面,说明爬虫拿不到任何内容。搜索引擎经过验证的爬虫一般会被放行;我们的请求没有经过验证,所以这里出现验证页只是线索,不是定论。
正文变少或标题不同
服务器给爬虫的是精简版或另一个页面。精简版只要主要内容还在就没问题;给爬虫和给人看的不是同一套内容就是伪装(cloaking),Google 的垃圾内容政策明确禁止。
robots.txt 禁止
网站请这个爬虫不要抓这个网址。守规矩的爬虫会照办,但服务器并不会因此拒绝响应,所以「禁止」和「200」同时出现很正常。
为什么 IP 很重要:百度、Google、Bing、OpenAI、Anthropic 都公布了验证自家爬虫的方法(反查 DNS 或 IP 列表)。我们的请求用的是它们的 User-Agent,但来自 Cloudflare,做了爬虫验证的网站会把它当成冒充。如果这里显示某个爬虫被拦,先去防火墙日志里看真爬虫的情况,再决定要不要改。
三步
不点「检查」就不发请求。
-
1
填一个页面
先测你希望出现在搜索结果或 AI 回答里的页面:商品页、文章页、价格页。
-
2
选爬虫
选 AI 爬虫,看 ChatGPT、Claude、Perplexity 能不能读到;选搜索引擎,看百度、Google、Bing。
-
3
对比后决定
误拦的在防火墙、CDN 或安全插件里放开;有意拦的,让 robots.txt 也写清楚,守规矩的爬虫就不会再来。
怎么对比
所有请求都经 check.tapcub.com 从 Cloudflare 的网络发出,带 From: tools@tapcub.com:
/robots.txt用 Chrome 身份取一次,按 RFC 9309 为每个爬虫判定:有自己的分组用自己的,否则用*;最长匹配优先;4xx 视为没有规则,5xx 或取不到视为全部禁止- 页面先用电脑版 Chrome 抓一次,再用每个爬虫公布的 User-Agent 各抓一次;跟随跳转(最多 5 跳)
- 从 HTML 前 512 KB 里取标题、可见正文(去掉脚本和样式,中日韩文字逐字计数)、robots meta 标签,再加上响应头里的 X-Robots-Tag
- 防火墙特征:Cloudflare 的
cf-mitigated: challenge响应头和验证页,Akamai、Imperva、Sucuri、DataDome、HUMAN、AWS WAF 的标记。正文相差 30% 以上就提示
| 爬虫 | 运营方 | robots.txt 标识 | 用途 |
|---|---|---|---|
| Baiduspider | 百度 | Baiduspider | 百度搜索 |
| Googlebot | Googlebot | Google 搜索 | |
| Bingbot | 微软 | Bingbot | 必应搜索 |
| GPTBot | OpenAI | GPTBot | 模型训练 |
| OAI-SearchBot | OpenAI | OAI-SearchBot | ChatGPT 搜索结果 |
| ChatGPT-User | OpenAI | ChatGPT-User | 用户让 ChatGPT 打开的网页 |
| ClaudeBot | Anthropic | ClaudeBot | 模型训练 |
| Bytespider | 字节跳动 | Bytespider | 字节跳动的爬虫 |
bbc.com:robots.txt 禁止,服务器照样返回
页面上的示例是 2026-11-17 抓的。
| 抓取身份 | robots.txt | 状态码 | 字数 | 解读 |
|---|---|---|---|---|
| Chrome | — | 200 | 2,747 | 基准 |
| GPTBot | 禁止(Disallow: /) | 200 | 2,747 | 页面一样,只是 robots.txt 请 GPTBot 别来 |
| ClaudeBot | 禁止(Disallow: /) | 200 | 2,747 | 同上 |
| PerplexityBot | 禁止(Disallow: /) | 200 | 2,750 | 同上(多出的 3 个词是轮播内容) |
这个示例里服务器没有按 User-Agent 拦爬虫,限制写在 robots.txt 里。这是常见做法:守规矩的爬虫看到 robots.txt 就停了,只按 User-Agent 拦截反而会误伤用这类工具测试的人。
爬虫访问控制常犯的错
多半是把 robots.txt、防火墙规则、索引标签当成了一回事。
一键「屏蔽爬虫」
CDN 或安全插件里的一键防爬,可能把百度蜘蛛、Googlebot 或你想要的 AI 搜索爬虫一起拦掉。打开后测一下。
以为 robots.txt 能拦住
它只是请求。要拦不守规矩的爬虫得靠防火墙,而且应按验证过的 IP 或 DNS,而不是只看 User-Agent。
既禁止抓取又写 noindex
爬虫不能抓这个页面,就永远看不到 noindex。要从搜索结果里删页面,应该允许抓取、再用 noindex。
相信 User-Agent
谁都可以自称百度蜘蛛或 Googlebot,这个工具就是这么做的。给爬虫特殊待遇前,先用反查 DNS 或官方 IP 段验证。
看哪些爬虫真的来过
这个工具告诉你爬虫「会」拿到什么;TapCub 告诉你哪些爬虫真的来了、来了多少次、抓了哪些页面。
百度站长平台的「抓取诊断」和这个有什么区别?
抓取诊断由真正的百度蜘蛛从百度的 IP 发起,只能测已验证的自家网站,结果就是百度实际看到的。这个工具任何网站都能测,可以同时对比多个爬虫和浏览器,但请求来自 Cloudflare,不是百度的 IP。Google 那边对应的是 Search Console 的「网址检查」(2019 年替代了旧的 Fetch as Google)。
这和百度蜘蛛真的来抓一样吗?
不一样。User-Agent 是百度蜘蛛的,但请求来自 Cloudflare 的网络,也不执行 JavaScript。按 IP 验证百度蜘蛛的网站会把它当假的,靠脚本加载的内容也不会被算进来。
怎么检查网站有没有屏蔽 AI 爬虫?
选「AI 爬虫」这一组,测几个重要页面。robots.txt 一栏是你「请求」的,状态码和防火墙两栏是服务器「实际做」的。
robots.txt 允许 GPTBot,为什么还是被拦了?
拦它的不是 robots.txt,而是防火墙规则、CDN 的防爬设置或安全插件。也可能只是因为我们的请求不是从 OpenAI 公布的 IP 发出的。
会渲染 JavaScript 吗?
不会。它读的是服务器直接返回的 HTML,大多数 AI 爬虫看到的也是这个。Googlebot 稍后会渲染页面,所以只有脚本运行后才出现的内容,Google 仍可能收录。
用的是什么 User-Agent?
各运营方公布的格式,比如 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。请求同时带 From: tools@tapcub.com,不会伪装成别的来源。
怎么在日志里验证真爬虫?
对 IP 做反查 DNS,再对得到的主机名做正查(百度要求是 *.baidu.com 或 *.baidu.jp,Google、Bing 类似),或者拿 IP 和运营方公布的列表比对(OpenAI、Anthropic、Perplexity)。真假爬虫检测工具可以帮你做。