TapCub 正式上线:统计、分析、客服一个平台免费用

免费工具 爬虫 IP 段核对:日志里哪些地址是真爬虫

搜索引擎和 AI 公司会公布自家爬虫使用的 IP 段。把一串地址——或者直接把宝塔、Nginx 的访问日志行——粘进来,看看哪些落在官方 IP 段里、是谁家的、命中哪一段。共 11 家运营方的 23 份清单、5,966 个网段,2026-11-17 拉取。数据不离开你的浏览器。

  • 23 份官方清单
  • 一次最多 5,000 个地址
  • 本地比对,不上传

对照官方爬虫 IP 段

一行一个地址,也可以粘贴日志行:每行取第一个 IP 地址。重复的地址只算一次。

核对

IPv4、IPv6、[2001:db8::1]:443、CSV 行、Nginx / Apache 日志行都可以;以 # 开头的行会跳过。

地址数

9

去重后

在官方清单里

7

不在任何清单里

2

无法识别的行

0

结论

  • 正常9 个地址里有 7 个在官方爬虫清单里。
  • 说明1 个地址不在任何清单里。这不代表它们是假的:大多数是真人访客,而且百度、Yandex 等不公布 IP 段。自称爬虫的,用「真假爬虫验证」逐个核验。
  • 注意1 个地址是内网或保留地址。真爬虫不会从这里来,多半是日志记下了代理的地址而不是客户端。

按爬虫清单汇总

一个地址可能同时在几份清单里(OpenAI 有些网段两个爬虫共用)。

运营方爬虫类型地址数
GoogleGooglebot, Google-InspectionTool, GoogleOther, Storebot-Google搜索引擎2
MicrosoftBingbot搜索引擎1
AppleApplebot搜索引擎1
OpenAIGPTBotAI 爬虫1
AnthropicClaudeBot, Claude-User, Claude-SearchBotAI 爬虫1
AhrefsAhrefsBot, AhrefsSiteAuditSEO 工具1

逐个地址

地址结果运营方 · 爬虫命中的官方网段行号
66.249.66.1官方爬虫Google · Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google66.249.66.0/271
157.55.39.1官方爬虫Microsoft · Bingbot157.55.39.0/242
20.171.207.5官方爬虫OpenAI · GPTBot20.171.207.0/243
216.73.216.12官方爬虫Anthropic · ClaudeBot, Claude-User, Claude-SearchBot216.73.216.0/224
17.241.208.161官方爬虫Apple · Applebot17.241.208.160/275
2001:4860:4801:10::1官方爬虫Google · Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google2001:4860:4801:10::/646
54.36.148.1官方爬虫Ahrefs · AhrefsBot, AhrefsSiteAudit54.36.148.0/237
203.0.113.77文档专用——8
2a03:2880:f800::1不在清单里——9
CSV
ip,result,operator,crawler,prefix,source_file
66.249.66.1,official,Google,"Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google",66.249.66.0/27,https://developers.google.com/static/crawling/ipranges/common-crawlers.json
157.55.39.1,official,Microsoft,Bingbot,157.55.39.0/24,https://www.bing.com/toolbox/bingbot.json
20.171.207.5,official,OpenAI,GPTBot,20.171.207.0/24,https://openai.com/gptbot.json
216.73.216.12,official,Anthropic,"ClaudeBot, Claude-User, Claude-SearchBot",216.73.216.0/22,https://claude.com/crawling/bots.json
17.241.208.161,official,Apple,Applebot,17.241.208.160/27,https://search.developer.apple.com/applebot.json
2001:4860:4801:10::1,official,Google,"Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google",2001:4860:4801:10::/64,https://developers.google.com/static/crawling/ipranges/common-crawlers.json
54.36.148.1,official,Ahrefs,"AhrefsBot, AhrefsSiteAudit",54.36.148.0/23,https://api.ahrefs.com/v3/public/crawler-ip-ranges
203.0.113.77,doc,,,,
2a03:2880:f800::1,not_listed,,,,

每个地址一行,附上命中清单的文件地址,可以直接用于防火墙或日志工具。

全部在你的浏览器里完成。官方 IP 段是 tapcub.com 上的静态文件,你粘贴的地址不会上传,也不会保存。

版本 v1.0更新于 更新记录

结果解读

命中和没命中分别说明什么

官方清单只能单向证明身份。

在清单里:就是那个爬虫

运营方声明这个网段的请求是它的。再加上对得上的 User-Agent,可靠程度和 DNS 核验一样。想被收录就放行。

不在清单里:不知道,不等于假

日志里大多数地址是真人,「不在清单里」很正常。只有当请求还自称是清单里的某个爬虫时,才说明是冒充。

同时在几份清单里

有些网段供多个爬虫共用:OpenAI 的 GPTBot 和 OAI-SearchBot 共用部分网段,DuckDuckGo 两个爬虫用同一份清单。所有命中都会列出。

内网或保留地址

出现 10.0.0.5、192.168.1.20 这样的地址,说明服务器看到的是代理而不是客户端。先把日志改成记录真实 IP(X-Forwarded-For、阿里云 CDN 或 Cloudflare 的真实 IP 头),再核对爬虫。

清单每隔几周就会变。本页用的是 2026-11-17 拉取的版本,要最新的请直接下载运营方的文件。

使用方法

三步核对

免注册,不上传任何内容。

  1. 1

    粘贴地址或日志行

    最多 5,000 个不重复的地址;原始访问日志也行,每行取第一个 IP。

  2. 2

    看汇总

    多少个是官方爬虫、分别是哪家的,哪些行没认出来。

  3. 3

    筛选和导出

    只看命中或只看没命中的,再复制或下载 CSV。

原理

官方清单,本地比对

下面每家运营方都公布了一份 CIDR 网段的 JSON 文件。TapCub 用脚本下载后作为静态文件提供,比对在你的浏览器里做。

  • 逐行找出第一个 IPv4 或 IPv6 地址,去掉方括号、端口和区域标识,IPv4 映射的 IPv6 按 IPv4 处理
  • 地址的前 n 位和网段一致就算命中(RFC 4632)。用排好序的表查找,5,000 个地址几毫秒就能查完
  • 同一份清单里有多个网段都包含这个地址时,显示最精确的那个
  • 内网、环回、文档专用等特殊用途地址(RFC 6890)单独标出
  • CSV 里写明每个命中的来源文件,方便复核
本工具收录的官方清单(2026-11-17 拉取)
运营方爬虫来源文件
GoogleGooglebot 等常规爬虫、专用爬虫、用户触发的抓取和代理developers.google.com/static/crawling/ipranges/*.json(5 个文件)
微软Bingbotbing.com/toolbox/bingbot.json
OpenAIGPTBot、OAI-SearchBot、ChatGPT-User、OAI-AdsBotopenai.com/gptbot.json 等 4 个
AnthropicClaudeBot、Claude-User、Claude-SearchBotclaude.com/crawling/bots.json
AppleApplebotsearch.developer.apple.com/applebot.json
PerplexityPerplexityBot、Perplexity-Userperplexity.ai/perplexitybot.json、perplexity-user.json
DuckDuckGoDuckDuckBot、DuckAssistBotduckduckgo.com/duckduckbot.json、duckassistbot.json
AmazonAmazonbot、Amzn-SearchBot、Amzn-Userdeveloper.amazon.com/amazonbot/…(3 个页面)
Mistral AIMistralAI-User、MistralAI-Indexmistral.ai/mistralai-*-ips.json
Common CrawlCCBotindex.commoncrawl.org/ccbot.json
AhrefsAhrefsBot、AhrefsSiteAuditapi.ahrefs.com/v3/public/crawler-ip-ranges
例子

一段访问日志里的六行

点「试试:访问日志行」载入。六行的 User-Agent 都自称是爬虫。

对照 2026-11-17 拉取的清单
地址User-Agent 自称结果
66.249.66.1GooglebotGoogle 常规爬虫,66.249.66.0/27
157.55.39.1bingbotBingbot,157.55.39.0/24
20.171.207.5GPTBotGPTBot,20.171.207.0/24
203.0.113.77Googlebot文档专用地址,不可能是真爬虫;真实日志里,自称 Googlebot 却不在 Google 清单里的就是冒充的
216.73.216.12ClaudeBotAnthropic,216.73.216.0/22
2001:4860:4801:10::1GooglebotGoogle 常规爬虫,2001:4860:4801:10::/64

203.0.113.77 访问 /wp-login.php 是典型套路:扫描器借用 Googlebot 的名字。百度蜘蛛不在任何清单里,要用「真假爬虫验证」做反查核验。

常见误区

用爬虫 IP 段时容易踩的坑

清单本身可靠,用法常常不可靠。

只复制一次清单

运营方每隔几周就加网段。春天配好的防火墙白名单,到秋天就会挡掉一部分 Googlebot。下载要自动化。

把「不在清单里」当成机器人

大多数不在清单里的地址是真人访客。清单用来确认爬虫,不是用来怀疑其他所有人。

核对的是 CDN 的地址

如果日志里全是 CDN 或负载均衡的地址,什么都对不上。先记录原始客户端 IP。

漏掉用户触发的抓取

ChatGPT-User、Perplexity-User 和 Google 的用户触发抓取是替人去打开网页,可能不遵守 robots.txt,所以单独成一份清单。

常见问题

爬虫 IP 段:常见问题

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

Googlebot 的 IP 段在哪里查?

Google 在 developers.google.com/static/crawling/ipranges/ 公布 JSON 文件:common-crawlers.json(Googlebot 等常规爬虫)、special-crawlers.json(AdsBot 等)以及三份用户触发抓取和代理的文件。本工具五份都收了。

百度蜘蛛有官方 IP 段吗?

没有。百度只给反查核验的方法:反查主机名以 baidu.com 或 baidu.jp 结尾,再正查回同一个 IP。网上流传的「百度蜘蛛 IP 段」都不是百度公布的,用「真假爬虫验证」逐个核验更可靠。

OpenAI 公布 GPTBot 的 IP 吗?

公布:GPTBot 是 openai.com/gptbot.json,OAI-SearchBot 是 searchbot.json,ChatGPT-User 是 chatgpt-user.json,OAI-AdsBot 是 adsbot.json。OpenAI 没有提供反查域名的核验方法,核验它的爬虫只能靠这些清单。

要把这些网段加进防火墙白名单吗?

可以,但要自动定期更新。过期的白名单会挡掉新的爬虫地址;而且白名单本身挡不住用别的地址冒充的请求,要配合 User-Agent 规则一起用。

清单多久更新一次?

各家节奏不同,每个文件里的 creationTime 写着最近一次变化:有的几年不变,有的几周就变。本工具显示拉取日期(2026-11-17);用于防火墙时请定期重新下载。

粘贴的地址会上传吗?

不会。官方清单作为静态文件从 tapcub.com 下载,比对在你的浏览器里完成,你粘贴的内容不发送、不保存。

更新记录

更新记录

这个工具的新功能、修复和数据更新,最新的在前。

  1. · v1.0

    首次上线首次上线。

这个工具用到的数据

  • 官方爬虫 IP 段(Google、必应、OpenAI、Anthropic 等) — 核对于 2026-11-17,每 1 个月复核(2026-12-17 前复核)

缺功能或发现错误?告诉我们,常被提到的会排进下次更新。 全部工具更新

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie