免费工具 爬虫 IP 段核对:日志里哪些地址是真爬虫
搜索引擎和 AI 公司会公布自家爬虫使用的 IP 段。把一串地址——或者直接把宝塔、Nginx 的访问日志行——粘进来,看看哪些落在官方 IP 段里、是谁家的、命中哪一段。共 11 家运营方的 23 份清单、5,966 个网段,2026-11-17 拉取。数据不离开你的浏览器。
- 23 份官方清单
- 一次最多 5,000 个地址
- 本地比对,不上传
对照官方爬虫 IP 段
一行一个地址,也可以粘贴日志行:每行取第一个 IP 地址。重复的地址只算一次。
IPv4、IPv6、[2001:db8::1]:443、CSV 行、Nginx / Apache 日志行都可以;以 # 开头的行会跳过。
地址数
9
去重后
在官方清单里
7
不在任何清单里
2
无法识别的行
0
结论
- 正常9 个地址里有 7 个在官方爬虫清单里。
- 说明1 个地址不在任何清单里。这不代表它们是假的:大多数是真人访客,而且百度、Yandex 等不公布 IP 段。自称爬虫的,用「真假爬虫验证」逐个核验。
- 注意1 个地址是内网或保留地址。真爬虫不会从这里来,多半是日志记下了代理的地址而不是客户端。
按爬虫清单汇总
一个地址可能同时在几份清单里(OpenAI 有些网段两个爬虫共用)。
| 运营方 | 爬虫 | 类型 | 地址数 |
|---|---|---|---|
| Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google | 搜索引擎 | 2 | |
| Microsoft | Bingbot | 搜索引擎 | 1 |
| Apple | Applebot | 搜索引擎 | 1 |
| OpenAI | GPTBot | AI 爬虫 | 1 |
| Anthropic | ClaudeBot, Claude-User, Claude-SearchBot | AI 爬虫 | 1 |
| Ahrefs | AhrefsBot, AhrefsSiteAudit | SEO 工具 | 1 |
逐个地址
| 地址 | 结果 | 运营方 · 爬虫 | 命中的官方网段 | 行号 |
|---|---|---|---|---|
66.249.66.1 | 官方爬虫 | Google · Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google | 66.249.66.0/27 | 1 |
157.55.39.1 | 官方爬虫 | Microsoft · Bingbot | 157.55.39.0/24 | 2 |
20.171.207.5 | 官方爬虫 | OpenAI · GPTBot | 20.171.207.0/24 | 3 |
216.73.216.12 | 官方爬虫 | Anthropic · ClaudeBot, Claude-User, Claude-SearchBot | 216.73.216.0/22 | 4 |
17.241.208.161 | 官方爬虫 | Apple · Applebot | 17.241.208.160/27 | 5 |
2001:4860:4801:10::1 | 官方爬虫 | Google · Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google | 2001:4860:4801:10::/64 | 6 |
54.36.148.1 | 官方爬虫 | Ahrefs · AhrefsBot, AhrefsSiteAudit | 54.36.148.0/23 | 7 |
203.0.113.77 | 文档专用 | — | — | 8 |
2a03:2880:f800::1 | 不在清单里 | — | — | 9 |
ip,result,operator,crawler,prefix,source_file
66.249.66.1,official,Google,"Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google",66.249.66.0/27,https://developers.google.com/static/crawling/ipranges/common-crawlers.json
157.55.39.1,official,Microsoft,Bingbot,157.55.39.0/24,https://www.bing.com/toolbox/bingbot.json
20.171.207.5,official,OpenAI,GPTBot,20.171.207.0/24,https://openai.com/gptbot.json
216.73.216.12,official,Anthropic,"ClaudeBot, Claude-User, Claude-SearchBot",216.73.216.0/22,https://claude.com/crawling/bots.json
17.241.208.161,official,Apple,Applebot,17.241.208.160/27,https://search.developer.apple.com/applebot.json
2001:4860:4801:10::1,official,Google,"Googlebot, Google-InspectionTool, GoogleOther, Storebot-Google",2001:4860:4801:10::/64,https://developers.google.com/static/crawling/ipranges/common-crawlers.json
54.36.148.1,official,Ahrefs,"AhrefsBot, AhrefsSiteAudit",54.36.148.0/23,https://api.ahrefs.com/v3/public/crawler-ip-ranges
203.0.113.77,doc,,,,
2a03:2880:f800::1,not_listed,,,,每个地址一行,附上命中清单的文件地址,可以直接用于防火墙或日志工具。
版本 v1.0更新于 更新记录
命中和没命中分别说明什么
官方清单只能单向证明身份。
在清单里:就是那个爬虫
运营方声明这个网段的请求是它的。再加上对得上的 User-Agent,可靠程度和 DNS 核验一样。想被收录就放行。
不在清单里:不知道,不等于假
日志里大多数地址是真人,「不在清单里」很正常。只有当请求还自称是清单里的某个爬虫时,才说明是冒充。
同时在几份清单里
有些网段供多个爬虫共用:OpenAI 的 GPTBot 和 OAI-SearchBot 共用部分网段,DuckDuckGo 两个爬虫用同一份清单。所有命中都会列出。
内网或保留地址
出现 10.0.0.5、192.168.1.20 这样的地址,说明服务器看到的是代理而不是客户端。先把日志改成记录真实 IP(X-Forwarded-For、阿里云 CDN 或 Cloudflare 的真实 IP 头),再核对爬虫。
清单每隔几周就会变。本页用的是 2026-11-17 拉取的版本,要最新的请直接下载运营方的文件。
三步核对
免注册,不上传任何内容。
-
1
粘贴地址或日志行
最多 5,000 个不重复的地址;原始访问日志也行,每行取第一个 IP。
-
2
看汇总
多少个是官方爬虫、分别是哪家的,哪些行没认出来。
-
3
筛选和导出
只看命中或只看没命中的,再复制或下载 CSV。
官方清单,本地比对
下面每家运营方都公布了一份 CIDR 网段的 JSON 文件。TapCub 用脚本下载后作为静态文件提供,比对在你的浏览器里做。
- 逐行找出第一个 IPv4 或 IPv6 地址,去掉方括号、端口和区域标识,IPv4 映射的 IPv6 按 IPv4 处理
- 地址的前 n 位和网段一致就算命中(RFC 4632)。用排好序的表查找,5,000 个地址几毫秒就能查完
- 同一份清单里有多个网段都包含这个地址时,显示最精确的那个
- 内网、环回、文档专用等特殊用途地址(RFC 6890)单独标出
- CSV 里写明每个命中的来源文件,方便复核
| 运营方 | 爬虫 | 来源文件 |
|---|---|---|
| Googlebot 等常规爬虫、专用爬虫、用户触发的抓取和代理 | developers.google.com/static/crawling/ipranges/*.json(5 个文件) | |
| 微软 | Bingbot | bing.com/toolbox/bingbot.json |
| OpenAI | GPTBot、OAI-SearchBot、ChatGPT-User、OAI-AdsBot | openai.com/gptbot.json 等 4 个 |
| Anthropic | ClaudeBot、Claude-User、Claude-SearchBot | claude.com/crawling/bots.json |
| Apple | Applebot | search.developer.apple.com/applebot.json |
| Perplexity | PerplexityBot、Perplexity-User | perplexity.ai/perplexitybot.json、perplexity-user.json |
| DuckDuckGo | DuckDuckBot、DuckAssistBot | duckduckgo.com/duckduckbot.json、duckassistbot.json |
| Amazon | Amazonbot、Amzn-SearchBot、Amzn-User | developer.amazon.com/amazonbot/…(3 个页面) |
| Mistral AI | MistralAI-User、MistralAI-Index | mistral.ai/mistralai-*-ips.json |
| Common Crawl | CCBot | index.commoncrawl.org/ccbot.json |
| Ahrefs | AhrefsBot、AhrefsSiteAudit | api.ahrefs.com/v3/public/crawler-ip-ranges |
一段访问日志里的六行
点「试试:访问日志行」载入。六行的 User-Agent 都自称是爬虫。
| 地址 | User-Agent 自称 | 结果 |
|---|---|---|
66.249.66.1 | Googlebot | Google 常规爬虫,66.249.66.0/27 |
157.55.39.1 | bingbot | Bingbot,157.55.39.0/24 |
20.171.207.5 | GPTBot | GPTBot,20.171.207.0/24 |
203.0.113.77 | Googlebot | 文档专用地址,不可能是真爬虫;真实日志里,自称 Googlebot 却不在 Google 清单里的就是冒充的 |
216.73.216.12 | ClaudeBot | Anthropic,216.73.216.0/22 |
2001:4860:4801:10::1 | Googlebot | Google 常规爬虫,2001:4860:4801:10::/64 |
203.0.113.77 访问 /wp-login.php 是典型套路:扫描器借用 Googlebot 的名字。百度蜘蛛不在任何清单里,要用「真假爬虫验证」做反查核验。
用爬虫 IP 段时容易踩的坑
清单本身可靠,用法常常不可靠。
只复制一次清单
运营方每隔几周就加网段。春天配好的防火墙白名单,到秋天就会挡掉一部分 Googlebot。下载要自动化。
把「不在清单里」当成机器人
大多数不在清单里的地址是真人访客。清单用来确认爬虫,不是用来怀疑其他所有人。
核对的是 CDN 的地址
如果日志里全是 CDN 或负载均衡的地址,什么都对不上。先记录原始客户端 IP。
漏掉用户触发的抓取
ChatGPT-User、Perplexity-User 和 Google 的用户触发抓取是替人去打开网页,可能不遵守 robots.txt,所以单独成一份清单。
机器人和 AI 爬虫,自动帮你统计
不用手工翻日志,直接在访客数据旁边看到爬虫流量。
Googlebot 的 IP 段在哪里查?
Google 在 developers.google.com/static/crawling/ipranges/ 公布 JSON 文件:common-crawlers.json(Googlebot 等常规爬虫)、special-crawlers.json(AdsBot 等)以及三份用户触发抓取和代理的文件。本工具五份都收了。
百度蜘蛛有官方 IP 段吗?
没有。百度只给反查核验的方法:反查主机名以 baidu.com 或 baidu.jp 结尾,再正查回同一个 IP。网上流传的「百度蜘蛛 IP 段」都不是百度公布的,用「真假爬虫验证」逐个核验更可靠。
OpenAI 公布 GPTBot 的 IP 吗?
公布:GPTBot 是 openai.com/gptbot.json,OAI-SearchBot 是 searchbot.json,ChatGPT-User 是 chatgpt-user.json,OAI-AdsBot 是 adsbot.json。OpenAI 没有提供反查域名的核验方法,核验它的爬虫只能靠这些清单。
要把这些网段加进防火墙白名单吗?
可以,但要自动定期更新。过期的白名单会挡掉新的爬虫地址;而且白名单本身挡不住用别的地址冒充的请求,要配合 User-Agent 规则一起用。
清单多久更新一次?
各家节奏不同,每个文件里的 creationTime 写着最近一次变化:有的几年不变,有的几周就变。本工具显示拉取日期(2026-11-17);用于防火墙时请定期重新下载。
粘贴的地址会上传吗?
不会。官方清单作为静态文件从 tapcub.com 下载,比对在你的浏览器里完成,你粘贴的内容不发送、不保存。