免费工具 真假爬虫验证:这个「百度蜘蛛」是真的吗
谁都能在 User-Agent 里写上 Baiduspider 或 Googlebot,采集器和扫描器常这么做来绕过防火墙和频率限制。唯一靠得住的证据是请求从哪来。贴上 IP(有 User-Agent 的话也贴上),工具按各家官方文档写的方法核验:反查域名、看主机名后缀、正查回同一个地址,再对照运营方公布的 IP 段。
- 按各家官方方法
- 11 家运营方、23 份 IP 段
- 点了才发请求
验证爬虫 IP
User-Agent 可以不填:填了就核对它的说法,不填就看「这个地址是谁家的爬虫」。点「验证」之前,下面显示的是标了日期的示例结果。
dns.alidns.com)、Cloudflare(cloudflare-dns.com)或 Google(dns.google)——查询这个地址的反查名称、反查到的主机名,以及 Team Cymru 的网络记录(查询名称里含有这个地址)。User-Agent 不会离开你的浏览器。官方 IP 段是 tapcub.com 上的静态文件,在本地比对。来自访问日志、CDN 日志或防火墙记录。
在中国大陆网络下选阿里云一般没问题。
完整字符串或只写爬虫名,如 Baiduspider、Googlebot、bingbot。
结论
- 真真的 百度 爬虫:已通过 baiduspider-116-179-32-160.crawl.baidu.com 核验。
- 说明示例结果:2026-11-17 生成本页时核验的。点「验证」看实时数据。
核验步骤
每一行是运营方文档里写的一步。
| 检查项 | 结果 | 详情 |
|---|---|---|
| 自称的爬虫 | 百度 | 核验方法:反查名称以 baidu.com、baidu.jp 结尾,再正查确认 |
| 反查域名(PTR) | baiduspider-116-179-32-160.crawl.baidu.com | 以 baidu.com 结尾:百度 |
| 正查 | 能正查回这个地址 | 116.179.32.160 |
| 官方 IP 段 | 百度 不公布 IP 段 | — |
| 所属网络(ASN) | AS4837 CHINA169-Backbone - CHINA UNICOM China169 Backbone, CN | 116.179.0.0/16 |
版本 v1.0更新于 更新记录
几种结论分别是什么意思
认爬虫只看它从哪来,不看它自己叫什么。
真
地址反查到运营方文档写明的域名并能正查回来,或者地址在运营方公布的 IP 段里。放行即可,这些流量确实是那个爬虫。
假
请求自称某个爬虫,地址却属于别人。通常是采集器、SEO 工具或漏洞扫描器借用了可信的名字。可以限速或封禁,不影响搜索收录。
是别家的爬虫
地址是真爬虫,只是不是 User-Agent 写的那家。少见,多是工具配置错了;以地址为准。
无法核验
有些运营方既不公布主机名也不公布 IP 段,谁也证明不了它们的爬虫是真的。只能看行为:是否读 robots.txt、频率是否合理。
百度、Google、必应、Yandex、Apple、Common Crawl、Ahrefs 写明了 DNS 核验方法;OpenAI、Anthropic、Perplexity、DuckDuckGo、Amazon、Mistral 只公布 IP 段。两种方法只要有一种通过,结论同样可靠。
三步核验
免注册,点一下才发请求。
-
1
从日志里复制 IP
要请求的客户端地址,不是代理的。用了 CDN 的话,取它加的请求头(如阿里云 CDN、Cloudflare 的真实 IP 头)。
-
2
填上 User-Agent
贴完整 User-Agent 或只写爬虫名;不填就看这个地址是谁家的爬虫。
-
3
验证并处理
真的放行,假的限速或封禁。要一次核对整份日志,用「爬虫 IP 段核对」。
官方核验方法,逐步走一遍
百度、Google、必应、Yandex 在站长文档里写的就是这个方法,另加官方 IP 段。
- 反查:读这个地址的 PTR 记录(如
160.32.179.116.in-addr.arpa) - 看后缀:主机名必须以运营方写明的域名结尾,如
baidu.com、googlebot.com、search.msn.com;要整段匹配,baidu.com.evil.net不算 - 正查:查这个主机名的 A(或 AAAA)记录,里面必须有原来的地址。反查名称谁都能设,正查记录只有域名的主人能改
- IP 段:对照运营方公布的 JSON 文件(11 家运营方的 23 份清单,2026-11-17 拉取)
- 两种方法通过一种就够。自称 Googlebot 的,工具还会看它是不是 Google 的常规爬虫,而不是 AdsBot 或用户触发的抓取
| 运营方 | 反查名称结尾 | 公布 IP 段 |
|---|---|---|
| 百度 | baidu.com、baidu.jp | — |
googlebot.com、google.com、googleusercontent.com | 有(5 个文件) | |
| 微软必应 | search.msn.com | 有 |
| Yandex | yandex.ru、yandex.net、yandex.com | — |
| Apple | applebot.apple.com | 有 |
| Common Crawl | crawl.commoncrawl.org(IPv4) | 有 |
| Ahrefs | ahrefs.com、ahrefs.net | 有 |
| OpenAI、Anthropic、Perplexity、DuckDuckGo、Amazon、Mistral AI | — | 有 |
同一个 User-Agent,两个地址,一真一假
两条请求都自称「Googlebot/2.1」,只有地址能分出真假(2026-11-17 核验)。
| 检查项 | 66.249.66.1 | 45.33.32.156 |
|---|---|---|
| 反查域名 | crawl-66-249-66-1.googlebot.com | scanme.nmap.org |
| 是 Google 的域名吗 | 是,googlebot.com | 不是 |
| 正查 | 66.249.66.1:能查回来 | 不需要 |
| 在 Google 的 IP 段里吗 | 在,66.249.66.0/27(常规爬虫) | 不在 |
| 所属网络 | AS15169 Google | AS63949 Akamai(Linode) |
| 结论 | 真 Googlebot | 假 Googlebot |
45.33.32.156 是 scanme.nmap.org,Nmap 项目公开给人测试用的主机。点「试试:假 Googlebot」可以实时跑一遍;百度蜘蛛的例子见上面的默认结果。
核验爬虫时常犯的错
下面每一条,不是放过了假爬虫,就是挡住了真爬虫。
只看反查名称
控制地址段的人可以把 PTR 设成 crawl.baidu.com。不做正查,这个检查什么也证明不了。
用「包含」去匹配
「包含 baidu.com」也会匹配 baidu.com.attacker.net。要从末尾按整段域名匹配。
核验的是代理的地址
在 CDN 或负载均衡后面,连上来的是代理。要从转发请求头里取客户端地址再核验,否则全部不通过。
把旧 IP 段写死
Google、OpenAI 等每隔几周就更新清单。要定期重新下载;本工具的清单都标了日期。
机器人报表里直接标出真假
TapCub 在每次访问时区分真人和机器人,能核验的爬虫会核验身份。
怎么判断百度蜘蛛是真是假?
百度官方的方法:对访问 IP 做反查,主机名必须以 baidu.com 或 baidu.jp 结尾(如 baiduspider-116-179-32-160.crawl.baidu.com),再对这个主机名正查,返回的地址要和原 IP 一致。Linux 用 host 命令、Windows 用 nslookup 都能做,本工具一次做完。
为什么有的百度蜘蛛 IP 反查对了却验证不通过?
有一部分百度旧地址的反查名称还在,但正查已经查不到地址(三家公共 DNS 结果一样)。按百度的方法,正查不一致就不能认定是百度;这些地址可能是伪造的,也可能是百度停用的旧段。工具标为「未通过」而不是「真」。
Googlebot 怎么验证?
对 IP 做反查,主机名以 googlebot.com、google.com 或 googleusercontent.com 结尾,再正查回同一个 IP;或者对照 Google 公布的 JSON IP 段。工具两种都做,还会告诉你它是常规的 Googlebot,还是 AdsBot、用户触发抓取等其他 Google 抓取程序。
GPTBot、ClaudeBot 怎么验证?
OpenAI 和 Anthropic 不提供反查域名,只公布 IP 段:OpenAI 的 gptbot.json、searchbot.json、chatgpt-user.json,Anthropic 的 claude.com/crawling/bots.json。工具用 2026-11-17 拉取的清单比对。
假蜘蛛可以直接封吗?
核验为假的可以。真的百度蜘蛛、Googlebot 一定能通过核验,封掉不通过的不会影响收录。注意别把自己代理或 CDN 的地址当成访问者去核验。
头条、搜狗、360 的爬虫能验证吗?
本工具目前只收运营方公开写明核验方法(反查域名或 IP 段)的爬虫。没写进来的会显示「无法核验」,可以先用「IP 查询」看它的网络归属,再结合 robots.txt 遵守情况和访问频率判断。
能在服务器上自动核验吗?
可以:按 IP 缓存一天结果,有 IP 段的运营方批量比对清单,其余用 DNS 核验。TapCub 对从你的服务器上报或导入日志的爬虫就是这样做的。