TapCub 正式上线:统计、分析、客服一个平台免费用

免费工具 真假爬虫验证:这个「百度蜘蛛」是真的吗

谁都能在 User-Agent 里写上 Baiduspider 或 Googlebot,采集器和扫描器常这么做来绕过防火墙和频率限制。唯一靠得住的证据是请求从哪来。贴上 IP(有 User-Agent 的话也贴上),工具按各家官方文档写的方法核验:反查域名、看主机名后缀、正查回同一个地址,再对照运营方公布的 IP 段。

  • 按各家官方方法
  • 11 家运营方、23 份 IP 段
  • 点了才发请求

验证爬虫 IP

User-Agent 可以不填:填了就核对它的说法,不填就看「这个地址是谁家的爬虫」。点「验证」之前,下面显示的是标了日期的示例结果。

验证
会发什么、发给谁。打开页面时不向其他服务发任何请求。点验证后,你的浏览器直接向所选的 DNS-over-HTTPS 服务——阿里云(dns.alidns.com)、Cloudflare(cloudflare-dns.com)或 Google(dns.google)——查询这个地址的反查名称、反查到的主机名,以及 Team Cymru 的网络记录(查询名称里含有这个地址)。User-Agent 不会离开你的浏览器。官方 IP 段是 tapcub.com 上的静态文件,在本地比对。

来自访问日志、CDN 日志或防火墙记录。

在中国大陆网络下选阿里云一般没问题。

完整字符串或只写爬虫名,如 Baiduspider、Googlebot、bingbot。

结论

  • 真真的 百度 爬虫:已通过 baiduspider-116-179-32-160.crawl.baidu.com 核验。
  • 说明示例结果:2026-11-17 生成本页时核验的。点「验证」看实时数据。

核验步骤

每一行是运营方文档里写的一步。

检查项结果详情
自称的爬虫百度核验方法:反查名称以 baidu.com、baidu.jp 结尾,再正查确认
反查域名(PTR)baiduspider-116-179-32-160.crawl.baidu.com以 baidu.com 结尾:百度
正查能正查回这个地址116.179.32.160
官方 IP 段百度 不公布 IP 段—
所属网络(ASN)AS4837 CHINA169-Backbone - CHINA UNICOM China169 Backbone, CN116.179.0.0/16
结论、User-Agent 识别和 IP 段比对都在你的浏览器里完成。唯一的网络请求是上面列出的 DNS-over-HTTPS 查询,点了才从你的浏览器发出。

版本 v1.0更新于 更新记录

结果解读

几种结论分别是什么意思

认爬虫只看它从哪来,不看它自己叫什么。

真

地址反查到运营方文档写明的域名并能正查回来,或者地址在运营方公布的 IP 段里。放行即可,这些流量确实是那个爬虫。

假

请求自称某个爬虫,地址却属于别人。通常是采集器、SEO 工具或漏洞扫描器借用了可信的名字。可以限速或封禁,不影响搜索收录。

是别家的爬虫

地址是真爬虫,只是不是 User-Agent 写的那家。少见,多是工具配置错了;以地址为准。

无法核验

有些运营方既不公布主机名也不公布 IP 段,谁也证明不了它们的爬虫是真的。只能看行为:是否读 robots.txt、频率是否合理。

百度、Google、必应、Yandex、Apple、Common Crawl、Ahrefs 写明了 DNS 核验方法;OpenAI、Anthropic、Perplexity、DuckDuckGo、Amazon、Mistral 只公布 IP 段。两种方法只要有一种通过,结论同样可靠。

使用方法

三步核验

免注册,点一下才发请求。

  1. 1

    从日志里复制 IP

    要请求的客户端地址,不是代理的。用了 CDN 的话,取它加的请求头(如阿里云 CDN、Cloudflare 的真实 IP 头)。

  2. 2

    填上 User-Agent

    贴完整 User-Agent 或只写爬虫名;不填就看这个地址是谁家的爬虫。

  3. 3

    验证并处理

    真的放行,假的限速或封禁。要一次核对整份日志,用「爬虫 IP 段核对」。

原理

官方核验方法,逐步走一遍

百度、Google、必应、Yandex 在站长文档里写的就是这个方法,另加官方 IP 段。

  • 反查:读这个地址的 PTR 记录(如 160.32.179.116.in-addr.arpa)
  • 看后缀:主机名必须以运营方写明的域名结尾,如 baidu.com、googlebot.com、search.msn.com;要整段匹配,baidu.com.evil.net 不算
  • 正查:查这个主机名的 A(或 AAAA)记录,里面必须有原来的地址。反查名称谁都能设,正查记录只有域名的主人能改
  • IP 段:对照运营方公布的 JSON 文件(11 家运营方的 23 份清单,2026-11-17 拉取)
  • 两种方法通过一种就够。自称 Googlebot 的,工具还会看它是不是 Google 的常规爬虫,而不是 AdsBot 或用户触发的抓取
各家运营方写明的核验方法
运营方反查名称结尾公布 IP 段
百度baidu.com、baidu.jp—
Googlegooglebot.com、google.com、googleusercontent.com有(5 个文件)
微软必应search.msn.com有
Yandexyandex.ru、yandex.net、yandex.com—
Appleapplebot.apple.com有
Common Crawlcrawl.commoncrawl.org(IPv4)有
Ahrefsahrefs.com、ahrefs.net有
OpenAI、Anthropic、Perplexity、DuckDuckGo、Amazon、Mistral AI—有
例子

同一个 User-Agent,两个地址,一真一假

两条请求都自称「Googlebot/2.1」,只有地址能分出真假(2026-11-17 核验)。

来自 66.249.66.1 和 45.33.32.156 的 Googlebot User-Agent
检查项66.249.66.145.33.32.156
反查域名crawl-66-249-66-1.googlebot.comscanme.nmap.org
是 Google 的域名吗是,googlebot.com不是
正查66.249.66.1:能查回来不需要
在 Google 的 IP 段里吗在,66.249.66.0/27(常规爬虫)不在
所属网络AS15169 GoogleAS63949 Akamai(Linode)
结论真 Googlebot假 Googlebot

45.33.32.156 是 scanme.nmap.org,Nmap 项目公开给人测试用的主机。点「试试:假 Googlebot」可以实时跑一遍;百度蜘蛛的例子见上面的默认结果。

常见误区

核验爬虫时常犯的错

下面每一条,不是放过了假爬虫,就是挡住了真爬虫。

只看反查名称

控制地址段的人可以把 PTR 设成 crawl.baidu.com。不做正查,这个检查什么也证明不了。

用「包含」去匹配

「包含 baidu.com」也会匹配 baidu.com.attacker.net。要从末尾按整段域名匹配。

核验的是代理的地址

在 CDN 或负载均衡后面,连上来的是代理。要从转发请求头里取客户端地址再核验,否则全部不通过。

把旧 IP 段写死

Google、OpenAI 等每隔几周就更新清单。要定期重新下载;本工具的清单都标了日期。

常见问题

真假爬虫验证:常见问题

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

怎么判断百度蜘蛛是真是假?

百度官方的方法:对访问 IP 做反查,主机名必须以 baidu.com 或 baidu.jp 结尾(如 baiduspider-116-179-32-160.crawl.baidu.com),再对这个主机名正查,返回的地址要和原 IP 一致。Linux 用 host 命令、Windows 用 nslookup 都能做,本工具一次做完。

为什么有的百度蜘蛛 IP 反查对了却验证不通过?

有一部分百度旧地址的反查名称还在,但正查已经查不到地址(三家公共 DNS 结果一样)。按百度的方法,正查不一致就不能认定是百度;这些地址可能是伪造的,也可能是百度停用的旧段。工具标为「未通过」而不是「真」。

Googlebot 怎么验证?

对 IP 做反查,主机名以 googlebot.com、google.com 或 googleusercontent.com 结尾,再正查回同一个 IP;或者对照 Google 公布的 JSON IP 段。工具两种都做,还会告诉你它是常规的 Googlebot,还是 AdsBot、用户触发抓取等其他 Google 抓取程序。

GPTBot、ClaudeBot 怎么验证?

OpenAI 和 Anthropic 不提供反查域名,只公布 IP 段:OpenAI 的 gptbot.json、searchbot.json、chatgpt-user.json,Anthropic 的 claude.com/crawling/bots.json。工具用 2026-11-17 拉取的清单比对。

假蜘蛛可以直接封吗?

核验为假的可以。真的百度蜘蛛、Googlebot 一定能通过核验,封掉不通过的不会影响收录。注意别把自己代理或 CDN 的地址当成访问者去核验。

头条、搜狗、360 的爬虫能验证吗?

本工具目前只收运营方公开写明核验方法(反查域名或 IP 段)的爬虫。没写进来的会显示「无法核验」,可以先用「IP 查询」看它的网络归属,再结合 robots.txt 遵守情况和访问频率判断。

能在服务器上自动核验吗?

可以:按 IP 缓存一天结果,有 IP 段的运营方批量比对清单,其余用 DNS 核验。TapCub 对从你的服务器上报或导入日志的爬虫就是这样做的。

更新记录

更新记录

这个工具的新功能、修复和数据更新,最新的在前。

  1. · v1.0

    首次上线首次上线。

这个工具用到的数据

  • 官方爬虫 IP 段(Google、必应、OpenAI、Anthropic 等) — 核对于 2026-11-17,每 1 个月复核(2026-12-17 前复核)
  • 点查询前显示的示例查询 — 核对于 2026-11-17,每 6 个月复核(2027-05-17 前复核)

缺功能或发现错误?告诉我们,常被提到的会排进下次更新。 全部工具更新

下一步

看清哪些爬虫在读你的网站

TapCub 区分真人、搜索引擎和 AI 爬虫,还能看到每个爬虫抓了哪些页面、带回了多少访客。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie