TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

智能体分析:怎样把 AI 智能体和真人访客分开

智能体分析要把 AI 智能体的请求和真人会话分开。四类智能体流量、厂商公布的用户代理、怎样核实,以及一个智能体让转化率被低估 29% 的示例日。

许安 发布于 2026 年 11 月 20 日 10 分钟阅读 数据分析
示例数据:12,600 个会话里有 3,700 个(29.4%)不是真人。把它们全算作访客,267 次注册的转化率是 2.12%,而不是 3.00%。示例数据

智能体分析就是把 AI 智能体和真人分开衡量。把请求分成四类(训练爬虫、搜索爬虫、用户触发的抓取器和驱动浏览器的智能体),匹配公布的用户代理标识,用运营方的 IP 列表或 DNS 核实,其余的按行为标记。在下面的示例日里,智能体占了 29.4% 的会话,让真人转化率看起来低了 29%。

读完你会知道

  • 四类智能体流量要四种处理:训练和搜索爬虫遵守 robots.txt,用户触发的抓取器一般不遵守,浏览器智能体没有标准
  • 用户代理的名字只是声明:用公布的 IP 列表或反向 DNS 核实,并记为已验证、疑似或未知
  • 在示例日里,把智能体算作访客,让 3.00% 的真人转化率变成了 2.12%

哪些流量算 AI 智能体流量?

“AI 智能体流量”其实是四种不同的东西,需要四种不同的处理方式。把它们混在一起,是智能体分析让人困惑的最常见原因。

类别做什么示例标识robots.txt 是否适用算不算真人访问
训练爬虫抓取可能用于训练模型的页面GPTBot、ClaudeBot适用,厂商称会遵守不算
搜索或答案爬虫为 AI 搜索功能建立索引OAI-SearchBot、PerplexityBot、Claude-SearchBot适用不算
用户触发的抓取器因为有人向助手提问,打开某一个页面ChatGPT-User、Claude-User、Perplexity-User一般不适用,因为由用户发起不算,但背后有真人
驱动浏览器的智能体操作完整浏览器,替人或脚本点击浏览网站常常是普通的 Chrome 用户代理没有标准看起来像,其实不是

前三类通常会在用户代理里报上名字,第四类不会,所以还需要行为信号。本文讲怎样把这四类都和真人会话分开、这会怎样改变你的转化率,以及怎样衡量智能体在做什么。

哪些用户代理会自报身份,厂商怎么说?

大型 AI 助手的运营方会公布爬虫名称。下表的事实都是 2026-11-20 从各厂商自己的文档读到的;字符串里的版本号会变,所以按标识匹配,不要匹配整串。

标识运营方声明的用途robots.txt
GPTBot抓取可能用于训练生成式 AI 基础模型的内容适用
OAI-SearchBot让网站出现在 ChatGPT 的搜索功能里,不用于训练适用,改动约 24 小时生效
ChatGPT-User用户提问或自定义 GPT 动作时访问页面“robots.txt 规则可能不适用”,因为是用户发起的
ClaudeBot收集可能用于模型训练的网页内容遵守,支持 Crawl-delay 指令
Claude-UserClaude 用户的问题需要时抓取页面厂商称遵守
Claude-SearchBot抓取以提升搜索回复的相关性厂商称遵守
PerplexityBot在搜索结果中呈现并链接网站,“不用于抓取内容训练 AI 基础模型”建议允许
Perplexity-User用户提问需要时抓取页面“通常忽略 robots.txt 规则”

出处:OpenAI、Anthropic、Perplexity。

由此有两点结论。其一,robots.txt 里屏蔽训练爬虫,并不能挡住同一运营方的用户触发抓取器,因为厂商说这类请求不受它约束。其二,屏蔽搜索爬虫可能让你从该助手的答案里消失,因为厂商把它描述为建索引的爬虫。要按类别决定,不要按品牌决定。相关字段见用户代理和AI 爬虫。

标识声明的用途robots.txt
GPTBot收集训练数据适用
OAI-SearchBot搜索功能,不用于训练适用
ChatGPT-User用户提问时抓取可能不适用
ClaudeBot收集训练数据遵守
Claude-User用户提问时抓取厂商称遵守
PerplexityBot搜索结果,不用于训练建议允许
Perplexity-User用户提问时抓取通常忽略

取自各运营方文档,2026-11-20 查阅。按标识匹配,不要匹配字符串里的版本号。

怎么分辨真的智能体和冒充的?

用户代理字符串只是客户端自己选择发送的一段文字。任何人都可以在脚本里写上“GPTBot”,所以自报的名字只是声明,不是证明。robots.txt 标准明确写道,它的规则“不是一种访问授权”,爬虫只是被“请求遵守”(RFC 9309)。

计数或屏蔽之前先核实,依据是运营方公布的信息:

  1. 对照公布的 IP 列表。Perplexity 用 JSON 文件公布了两个智能体的地址段,并要求站长把每个机器人的用户代理和它自己的地址段对应。Anthropic 说,来自其公布列表(claude.com/crawling/bots.json)中地址的请求才是 Anthropic 发的。如果请求声称是某个标识,却来自列表之外,就当作未验证。
  2. 运营方有文档时,用反向和正向 DNS。Google 对 Googlebot 的流程是:对 IP 做反向 DNS,确认域名是 googlebot.com、google.com 或 googleusercontent.com,再对这个名字做正向 DNS,确认返回原来的 IP(Google)。
  3. 把结果记成状态,不是是或否。用三种:已验证、疑似、未知。“未知”不等于“假冒”:大多数运营方并没有公布反向 DNS 规律。

在没读运营方建议之前,不要只按 IP 屏蔽。例如 Anthropic 说,屏蔽 IP 可能无法持续地让你退出,因为这会阻止机器人读取 robots.txt。

怎么发现长得像浏览器的智能体?

有些智能体驱动真实浏览器,发送普通的浏览器用户代理。你无法靠名字找到它们,但可以靠会话的行为找到不少,因为真人会话和脚本会话在日志里留下的形状不同。

信号典型的真人会话典型的脚本会话
每个页面带的静态资源(CSS、JS、图片)很多以文本方式抓页面时很少或没有
每分钟页数1–3 个,有停顿几十个,间隔均匀
先请求 robots.txt从不声明身份的爬虫有时会
运行页面 JavaScript是常常不运行
来源搜索、社交、直接访问或某个助手没有来源
路径特征来回浏览、回到之前的页面按站点地图顺序或数字序号扫过去

一条容易执行也容易解释的规则:会话在 2 分钟内请求至少 30 个页面,且静态资源请求为零,就标记为疑似智能体。动手之前要人工复核匹配结果。合法的例外是有的:链接预取、只加载文本的读屏软件、你自己设置的可用性检测,或者把很多人藏在同一个地址后面的企业代理。

示例会话(示例数据)展示这条规则的表现:

会话2 分钟内页数静态资源自报标识类别
S1341无真人
S2520GPTBot自报的训练爬虫
S310ChatGPT-User自报的用户触发抓取
S4440无(Chrome 字符串)疑似智能体
S550无真人(预取或读屏软件,低于 30 页阈值)

S5 说明阈值为什么重要:几个纯文本请求,不足以把它判成智能体。

智能体对你的数字有什么影响?一个算例

假设一个网站某天不做任何机器人过滤,统计到 12,600 个会话。按上面的方法分类(示例数据,数量已用 Python 复算):

类别会话数占全部会话的比例
真人8,90070.6%
搜索引擎爬虫1,45011.5%
自报的 AI 训练爬虫1,0208.1%
自报的 AI 搜索和答案爬虫6104.8%
自报的用户触发 AI 抓取器3402.7%
疑似浏览器式智能体2802.2%
合计12,600全部会话

同一天网站记录了 267 次注册。只有真人会注册,所以:

  • 真人会话的转化率:267 ÷ 8,900 = 3.00%。
  • 全部会话的转化率:267 ÷ 12,600 = 2.12%。

把智能体算作访客,让真人转化率被低估了 29%(1 − 2.12 ÷ 3.00)。网站什么都没变,是分母被污染了。如果这时你在页面上做测试,这些噪声会拉低基线,让真实的提升更难被检测出来。

同一张表还说明,12,600 个会话里有 3,700 个(29.4%)不是真人。这个比例只属于这个样本;你的网站是多少,只有测了才知道。

app.tapcub.com

按类别划分的会话,一个示例日

12,600 个会话
真人8,900
搜索引擎爬虫1,450
AI 训练爬虫1,020
AI 搜索和答案610
用户触发的 AI 抓取340
疑似浏览器智能体280
示例数据
示例数据:12,600 个会话里有 3,700 个(29.4%)不是真人。把它们全算作访客,267 次注册的转化率是 2.12%,而不是 3.00%。

智能体到底在做什么:只读,还是会带人回来?

把真人分出去之后,智能体流量真正有用的问题是一个“兑换率”。3,700 个非真人会话里,有 1,970 个是自报的 AI 读取(1,020 + 610 + 340)。同一天,有 61 位真人访客是从 AI 助手的链接来的。于是:

1,970 次读取 ÷ 61 位带回的访客 = 每位真人访客 32.3 次读取。

解读这个数字要小心。它描述的是一个网站的一天,不是对任何运营方的评判。训练爬虫读页面,本来就不指望带人回来;答案引擎才应该。所以要按类别拆开:1,020 次训练读取,预期没有回访;950 次答案和抓取读取(610 + 340)对 61 次访问,是每位访客 15.6 次读取。要看的是你改了内容或 robots.txt 规则之后它怎么变,而不是拿绝对值去和别的网站比。

三个问题让智能体数据有用处:

  1. 智能体读得最多的是哪些页面?如果是价格页和文档页,这些就是助手会引用的页面,要保证它们准确。
  2. 它们读到的是干净的答案吗?看每个爬虫最常见的状态码。大多收到 404 或 5xx 的爬虫,读到的是错误页。
  3. 你写的规则和实际流量对得上吗?如果在 robots.txt 里屏蔽了训练爬虫之后,用户触发的抓取器仍在来,这符合厂商文档,不是故障。要拦住它,用防火墙规则。

读取你分析数据的智能体呢?

“分析智能体”也指反方向:你自己的 AI 智能体来查询你的分析数据。稳妥的做法是用范围受限的密钥只读访问,这样智能体能回答上周流量的问题,但不能改设置或删数据。它返回的每个数字,都像同事给你的数字一样对待:要求看背后的查询,并手工核对一个数字。TapCub 关于用 MCP 连接 AI 智能体的文档介绍了这条只读路径。

在 TapCub 里怎么衡量智能体流量?

用上面的例子,在 TapCub 里做同样的分离。

TapCub 的 AI 内容账本,按运营方列出读取次数和带回的访客
演示数据:网站统计 › 机器人 里的 AI 内容账本。数字来自演示项目,不是文中的示例。
  1. 确认机器人单独统计。新项目默认识别机器人并单独统计,认出来的机器人只进机器人报表,不会抬高真人访客、会话和转化率。只有 不识别 这个设置会把它们混进来,文档不建议这样做。
  2. 打开 网站统计 › 机器人。 在 AI 与智能体 页签,卡片显示 AI 请求、AI 智能体、AI 爬虫和带回的访问。AI 内容账本 按运营方列出读取次数(训练爬虫和答案引擎分两列)、带回的真人访客和比值,比值是读取次数除以访客数。按示例,总体比值是 32.3 : 1。
  3. 在 全部机器人 里查看一个爬虫。表格列出名称、运营方、用途、请求数、访问页数、最常见状态码、最后出现时间、可信度和命中的检测层。可信度分已验证、疑似、未知;未知本身不代表冒充。某一行认错了,可以报误判。
  4. 了解边界。只用页面脚本时,TapCub 只看得到会运行 JavaScript 的机器人。不运行脚本的爬虫,以及状态码和响应时间,需要服务端采集:用你的服务器通过服务端事件接口发送这些请求,该接口只保留被识别为机器人的请求。见机器人与 AI 爬虫和读懂 AI 爬虫账本。
  5. 和真人对照。在 AI 可见性 和 来源 › AI 来源 里,带回的访问是真人会话,所以可以在一处把读取次数和人数放在一起看。完整的账本解读见AI 爬虫账本。

TapCub 不会拦截或限速任何爬虫,只负责衡量。拦截要在 robots.txt 或你的防火墙里做。

FAQ

什么是智能体分析?

衡量 AI 智能体在你的网站或产品上做了什么:哪些智能体来过、读了什么、是否已验证,以及带回多少真人流量,并和真人会话分开。

怎么识别 AI 智能体流量?

先匹配运营方公布的用户代理标识,用公布的 IP 段或反向 DNS 核实,再按行为标记没有自报身份的会话,比如读了很多页面却没有静态资源请求。

AI 智能体会遵守 robots.txt 吗?

训练和搜索爬虫在文档里说会遵守。ChatGPT-User、Perplexity-User 这类用户触发的抓取器,文档里说不受它约束,因为请求是由人发起的。

要不要屏蔽 AI 智能体?

按类别决定。屏蔽训练爬虫是退出训练;屏蔽搜索爬虫可能让你从该助手的答案里消失。先看账本里的读取次数和带回的访问,再做选择。

为什么有些 AI 爬虫不出现在基于页面脚本的报表里?

页面脚本只有在客户端执行 JavaScript 时才会运行。不运行脚本的爬虫只出现在服务器日志里,不会出现在基于脚本的报表里,所以 TapCub 的文档为它们提供服务端采集。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

许安

客户体验顾问

关注在线客服、访客沟通与自助服务,分享常见问题的处理思路和可复用流程,让每一次沟通更清晰有效。

把智能体和真人分开看

机器人默认单独统计,AI 内容账本把读取次数和带回的真人访客放在一起对照。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie