TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

机器人的类型:10 类机器人及其在统计里的识别方法

按用途把机器人分成 10 类,列出 User-Agent 线索、流量特征、爬虫验证方法和放行、限制、拦截的判断规则,并用算例说明机器人怎样扭曲转化率。

苏禾 发布于 2026 年 11 月 20 日 11 分钟阅读 数据分析
示例数据:一周 100,000 个请求,按 User-Agent、DNS 检查和行为分类。自动化请求占 46%,与 Imperva 给出的网页整体 51% 是同一个量级。示例数据

机器人主要有搜索爬虫、AI 爬虫、SEO 和监测工具、链接预览抓取、抓取程序、撞库机器人、垃圾提交机器人和点击欺诈机器人几类。Imperva 的数字是自动化流量占网页流量的 51%,恶意机器人占 37%,所以读任何流量数字之前都要先把它们分开。本文给出一张十行的表(含 User-Agent 和流量特征)、三类信号的核查方法,以及放行、限制、拦截的判断规则。

读完你会知道

  • 先按用途分类,再给每类一个结论:放行、限制或拦截;只看 User-Agent 永远证明不了对方是谁
  • 自称的爬虫用反向加正向 DNS 验证;示例里 9,000 个自称 Googlebot 的请求有 1,800 个(20%)是假的
  • 不过滤机器人会话,示例转化率被低估 20%(1.50%,真实是 1.875%);robots.txt 只是请求,服务器才是执行

机器人怎么分类,占多少流量?

机器人通常按用途分,而不是按技术分:负责收录或训练的爬虫,负责监测或审计的工具,以及负责攻击或抓取的程序。上面那张十行的表就是按这个思路排的。这样分是因为日志里同一行请求,可能是你想要的搜索引擎,可能是你想限制的 AI 爬虫,也可能是该拦住的抓取程序。

先看规模。Imperva 的《2025 恶意机器人报告》给出的数字是:自动化流量占全部网页流量的 51%,其中恶意机器人占 37%。两者相减,约 14 个百分点是其余的自动化流量:搜索爬虫、监测工具、订阅抓取之类。也就是说,平均水平的网站上,真人流量不到一半,恶意机器人是有用机器人的两倍多。你自己的比例会不同:没有登录功能的小站很少遇到撞库攻击,大型商店则常被抓取。

给机器人定性时,用这三选一:

  • 放行:帮你被找到(搜索引擎),并且通过验证。
  • 限制:合法,但耗带宽或回报很少(部分 SEO 爬虫、AI 训练爬虫)。
  • 拦截:想拿走无权拿的东西(撞库、抓取登录后的内容、表单垃圾、点击欺诈)。

下面依次讲:怎么在数据里分辨类型、几家大运营方自己是怎么说明爬虫的、机器人对数字做了什么,以及哪种类型该用哪种手段。

类型User-Agent 线索流量特征结论
搜索爬虫名称如 Googlebot,用 DNS 验证访问稳定,沿链接和站点地图走,遵守 robots.txt放行
AI 训练爬虫自有标识,如 GPTBot大范围抓取很多页面,带回的访问很少按政策限制或放行
AI 搜索爬虫自有标识,如 OAI-SearchBot抓取可能在回答中被引用的页面想被引用就放行
用户触发的 AI 抓取自有标识,如 ChatGPT-User有人提问后立刻抓取一次按访客对待;robots.txt 可能不适用
SEO 工具爬虫字符串里有工具名整站大规模爬取,对一个域名集中爆发放行或限速
可用性监测字符串里有服务名全天以固定间隔访问同一网址放行;从统计里排除
链接预览抓取字符串里有平台名分享后立刻对一个网址访问一次放行
抓取程序复制浏览器字符串或无头 Chrome快速翻列表页;不加载图片和脚本;IP 轮换拦截
撞库程序类似浏览器的字符串大量账号登录失败拦截
垃圾提交或点击欺诈机器人类似浏览器或为空的字符串没有页面访问的表单提交;付费会话只停留 1 秒拦截

User-Agent 一列里的名称是运营方文档里的示例;名称只是自称,不是证明。

怎么分辨机器人和真人访客?

用三类信号,从成本低到强度高排列,不要只靠第 1 类。

1. User-Agent 字符串。 Apache 文档把组合日志格式里的 User-agent 字段描述为客户端的自我声明。守规矩的机器人会写上自己的名字(Googlebot、GPTBot、OAI-SearchBot、ChatGPT-User);恶意机器人会复制普通浏览器的字符串。名字对得上,只说明对方自称是谁,说明不了别的。

2. 网络来源。 正规爬虫来自运营方能证明的地址。Google 文档给 Googlebot 的验证分两步:对日志里的 IP 做反向 DNS 查询,确认主机名以 googlebot.com、google.com 或 googleusercontent.com 结尾;再对这个主机名做正向查询,确认返回的就是原来的 IP。例如 host 66.249.66.1 会返回形如 crawl-66-249-66-1.googlebot.com 的名字,这个名字的正向查询必须回到同一个地址。任何一步不通过,不管 User-Agent 怎么写,都不是 Googlebot。

3. 行为。 机器人会留下真人不会有的痕迹:

行为典型对象为什么暴露
同一个 IP 或同一小段 IP 每分钟访问几百个页面抓取程序、激进的爬虫没有人每 200 毫秒读一页
访问间隔完全相同(例如每 60 秒一次)可用性监测真人的节奏不规律
大量账号登录失败,IP 不断更换撞库每个账号只试一次,分散开来躲避锁定
请求不加载图片、样式和脚本简单的 HTTP 抓取浏览器会把这些都加载
链接刚被发出就被访问一次,只访问一个网址链接预览抓取由分享触发,不是浏览
提交表单前没有页面访问垃圾提交机器人真人要先打开表单页

两点提醒。其一,跑完整浏览器(无头 Chrome)的机器人在页面脚本眼里和真人没差别,对抓取程序来说,行为和网络检查比 User-Agent 重要。其二,缺少某个信号不等于证据:来自未验证 IP、User-Agent 不认识的请求是「未知」,不是「恶意」。

搜索和 AI 爬虫是怎么说明自己的?

大运营方的爬虫会公开自己的名字和规则,读它们的页面,不要靠猜。

搜索爬虫。 Googlebot 用上面的 DNS 检查验证。Google 还把用户触发的抓取单独列在另一组主机名模式下,例如 gae.googleusercontent.com 或 google-proxy-...google.com;这类请求是有人要求的一次抓取,不是例行爬取。

同一家运营方的 AI 爬虫。 OpenAI 的爬虫文档把三个 User-Agent 标识分开,因为它们做三件不同的事:

标识作用对 robots.txt 的反应
GPTBot收集可能用于训练生成式 AI 模型的内容禁止它,表示你的内容不应用于训练
OAI-SearchBot让网站出现在 ChatGPT 的搜索功能里禁止它,页面不会出现在 ChatGPT 搜索回答里(链接仍可能出现);改动约 24 小时生效
ChatGPT-User用户让 ChatGPT 访问某个页面,或通过 GPT Actions 触发时抓取OpenAI 说明 robots.txt 规则可能不适用,因为是用户发起的操作

这张表带来的实际结论是:「AI 机器人」不是一种类型。 拦训练爬虫和拦决定你能不能出现在 AI 搜索回答里的爬虫,是两个不同的决定。其他运营方也有类似的拆分,要逐家看它们的页面。

robots.txt 能做什么、不能做什么。 机器人排除标准(RFC 9309,2022 年 9 月)写明,这些规则「不是任何形式的访问授权」。合规的爬虫会遵守,恶意机器人会无视。RFC 还说,爬虫缓存副本一般不应超过 24 小时(除非文件打不开),解析上限至少要支持 500 KiB。由此得出两条实用规则:文件保持精简,别指望改动几分钟内生效。

哪些机器人有害,长什么样?

恶意机器人按意图定义,所以要靠它们做的事来识别:

  • 抓取程序复制价格、列表或文章。它们逐页翻列表,常在夜里跑,可能用不断变化的住宅 IP 和类似浏览器的 User-Agent。在统计里表现为分类页或商品页突然出现一波访问,别的页面没人点,几乎全部跳出。
  • 撞库拿被盗的用户名和密码去试你的登录。特征是登录失败率高、涉及很多不同账号、每个账号尝试次数很少。服务器或认证日志看得到,页面脚本通常看不到。
  • 垃圾提交机器人往评论、联系和注册表单里塞链接。看有没有没有页面访问的表单提交、内容雷同的文本,或一批使用一次性邮箱的注册。
  • 点击欺诈和虚假展示机器人访问付费落地页。典型情形:付费活动带来的会话只停留 1 秒,来自同一个机房网络,从不滚动。
  • 拒绝服务洪水是极端情形:每秒请求数突然暴增,往往集中在一个网址。

便宜的防护,按这个顺序试:按 IP 限速、给登录和注册表单加验证挑战、在表单里放蜜罐字段、某一段网络造成大部分损害时按网络拦截。这些都不需要买服务,也都不是统计的事,在服务器或 CDN 上做,用统计看它们有没有起作用。

机器人会怎么影响统计数字?

用一个虚构网站的三组数字说明损害有多大。以下数字全部是示例数据。

1. 流量构成。 一周 100,000 个请求,按上述方法分类:真人 54,000(54%)、抓取程序 13,000、搜索爬虫 9,000、AI 爬虫 6,000、垃圾提交 6,000、撞库尝试 5,000、SEO 工具爬取 4,000、监测请求 2,000、链接预览 1,000。自动化请求占 46%,和 Imperva 给出的网页整体 51% 是同一个量级。

2. 假冒 Googlebot。 日志里有 9,000 个自称 Googlebot 的请求。对每个不同的 IP 做先反向、再正向的 DNS 检查,验证通过 7,200 个。其余 1,800 个(20%)是别的程序顶着 Googlebot 的名字。如果你按 User-Agent 做白名单,「可信」流量里就有五分之一没经过验证。

3. 转化率。 网站有 40,000 个会话、600 次转化,其中 8,000 个会话来自会执行 JavaScript 的机器人:

  • 不过滤的转化率:600 ÷ 40,000 = 1.50%。
  • 只算真人:600 ÷(40,000 − 8,000)= 600 ÷ 32,000 = 1.875%。

不过滤的数字把真实转化率低估了 20%(1 − 1.50 ÷ 1.875)。团队看到 1.5% 就去「优化」结账流程,追的是机器人制造出来的差距。同样的失真还会抬高跳出率、拉低每会话页数,让所有按访客算的成本失准。

app.tapcub.com

按类别统计的请求,一周示例

占 100,000 的比例
真人访客54%
抓取程序13%
搜索爬虫9%
AI 爬虫6%
垃圾提交6%
撞库尝试5%
SEO 工具、监测、预览7%
示例数据
示例数据:一周 100,000 个请求,按 User-Agent、DNS 检查和行为分类。自动化请求占 46%,与 Imperva 给出的网页整体 51% 是同一个量级。

拦截、放行还是忽略:哪种类型用哪种手段?

如果这个机器人是…怎么做在哪里做
已验证的搜索爬虫放行;留意它收到的 404 和 5xxrobots.txt、服务器日志
你不想要的 AI 训练爬虫在 robots.txt 里禁止它的标识,再看请求是否停止robots.txt
AI 搜索或答案爬虫想被引用就放行;统计它带回多少访问robots.txt、统计
用户触发的 AI 抓取当作类似访客的抓取;robots.txt 可能不适用,需要时用访问控制服务器或 CDN
SEO 工具爬虫放行,或在拖慢服务器时限制抓取频率robots.txt、限速
你自己设置的监测从统计里排除统计过滤
抓取程序、撞库、垃圾提交拦截;robots.txt 拦不住它们服务器、CDN、表单防护
未知先不处理;记一周日志,看行为日志

这张表背后的规则是:robots.txt 只是请求,服务器才是执行。 robots.txt 用来向守规矩的运营方表明偏好,其他的靠限速、认证和网络拦截。

在 TapCub 里怎么把机器人单独看?

回到上面 1.50% 对 1.875% 的问题(检测分几层,见机器人检测如何工作)。在 TapCub 里,头一项处理是默认设置:新项目是识别并单独统计,认出来的机器人只进机器人报表,不会抬高真人的访客、会话和浏览量。具体这样用:

TapCub 机器人报表:AI 请求数、一天内 AI 读取与带回访问的趋势,以及按运营方列出的爬虫请求数和带回访客
演示数据:机器人报表的 AI 与智能体视图,按爬虫运营方列出读取次数和带回的访问。
  1. 打开 网站统计 › 机器人。AI 与智能体页签显示 AI 请求数、AI 内容账本(每个运营方的读取次数,训练爬虫和答案引擎分两列,以及各自带回的真人访客),还有回报比值。
  2. 打开全部机器人。每行有机器人名称、运营方、用途(搜索、AI 训练、AI 答案引擎、监测)、请求数、访问页数、最常见状态码、最后出现时间、可信度和命中的检测层。只有 Applebot 会做 DNS 反查验证,其他显示「未验证」,「未知」本身不代表这个爬虫是假的。某行判断有误,可以报误判。
  3. 在健康小表里看搜索爬虫:抓取数、成功率、404 和 5xx。
  4. 留意页面上写明的限制:只装页面脚本时,看到的是会执行 JavaScript 的机器人。不执行脚本的爬虫和响应状态码需要服务端采集:用 配置 › 设置 › API 密钥里的密钥,把访问记录(User-Agent 和网址)发到服务端事件接口。这个接口只保留它判定为机器人的请求,真人请求会丢弃。全端分析 › 数据管理 › 数据导入里的日志导入面向页面浏览,会跳过爬虫,所以填不满机器人报表。
  5. 对照 网站统计 › 实时:在线人数只含真人事件,实时流分成真人和机器人两部分。

TapCub 不拦截任何东西,只负责衡量和分开,执行要靠服务器、CDN 或 robots.txt。

FAQ

机器人主要有哪些类型?

搜索引擎爬虫、AI 爬虫(训练、搜索、用户触发)、SEO 和监测工具、链接预览抓取、抓取程序、撞库机器人、垃圾提交机器人和点击欺诈机器人。前五类通常合法,后四类不是,AI 爬虫取决于你的政策。

机器人都是坏的吗?

不是。Imperva 2025 年报告里,自动化流量占网页流量的 51%,恶意机器人占 37%,剩下约 14 个百分点是未归为恶意的自动化流量。搜索爬虫是最清楚的、你想要的机器人。

robots.txt 能挡住恶意机器人吗?

挡不住。RFC 9309 写明这些规则不是访问授权。合规的爬虫会遵守。对无视它的机器人,要用限速、登录要求、网络拦截或表单验证挑战。

怎么确认自称 Googlebot 的访问是真的?

对 IP 做反向 DNS 查询,确认名字以 googlebot.com、google.com 或 googleusercontent.com 结尾;再对这个名字做正向查询,确认返回同一个 IP。

禁止 GPTBot 会让我从 ChatGPT 搜索里消失吗?

单独禁止不会。OpenAI 说明 GPTBot 管训练,OAI-SearchBot 决定你是否出现在 ChatGPT 搜索回答里,两者在 robots.txt 里分别控制。

另见:机器人流量:怎么发现、过滤和单独报告。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

苏禾

数据分析师

围绕流量来源、转化漏斗与用户留存写作,重视指标口径和分析过程,用具体示例解释数字背后的问题。

看看哪些机器人在访问你的网站

TapCub 把认出来的机器人和 AI 爬虫与真人流量分开统计,访客数和转化率不会被抬高或拉低。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie