TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

什么是机器人过滤?怎么把机器人和真人访客分开

机器人过滤把自动化流量挡在真人报表之外。过滤器怎么分辨机器人和真人,过滤得太松或太紧各有什么代价,以及一个算例。

苏禾 审核人 卢卡斯·海斯 又称 机器人流量过滤 最后更新 2026 年 11 月 17 日 术语表

一句话回答

机器人过滤是网站分析里识别爬虫、监测程序、采集程序等自动化流量,并让它们不进入真人报表的环节,使访客、会话和转化率描述的是真实的人。把机器人拆进单独的报表,比悄悄删掉更可靠。

什么是机器人过滤?

机器人过滤是网站分析里的一个环节:识别自动化流量(即机器人流量:搜索爬虫、可用性监测、采集程序、AI 爬虫、垃圾脚本),把它们挡在人的报表之外,让访客、会话和转化率描述的是真人。它通常综合多个信号,因为没有哪一种检查能抓住所有机器人。邮件分析里也用同样的词,意思是去掉机器产生的打开和点击;本页讲的是网站和 App。

更有用的理解不是「删掉一部分数据」,而是把一股流量拆成两份:人和机器人,各有一个数字。如果你能说出「真人 8,200 次会话,机器人 1,800 次」,两边的任何变化你都能解释。如果一个工具悄悄去掉流量,又拿不出去掉了什么,你就没法审计它。

为什么重要:一周,两套数字

示例数据:一个网站一周记录了 10,000 次会话。团队不知道的是,其中 1,800 次是机器人(加载页面、几乎不转化、只停留几秒),8,200 次是真人。

指标只看真人(8,200)只看机器人(1,800)全部混在一起(10,000)
转化数2460246
转化率3.00%0.00%2.46%
跳出率46%(3,772)95%(1,710)54.8%
平均停留时长120 秒4 秒99 秒

复算方法:转化率 = 246 ÷ 8,200 = 3.00%,但 246 ÷ 10,000 = 2.46%。混合跳出率 = (3,772 + 1,710) ÷ 10,000 = 54.8%。混合平均时长 = (8,200 × 120 + 1,800 × 4) ÷ 10,000 = 99.1 秒。

产品什么都没变,转化看起来却差了 18%,跳出率高了近 9 个点。机器人对各项指标的扭曲并不一样,方向取决于它们的行为:不运行脚本的采集程序可能根本不出现,而无头浏览器会抬高访客数和跳出率。

总体规模有多大?Imperva 的《2025 年恶意机器人报告》给出 2024 年自动化流量占全球网络流量的 51%,其中恶意机器人占 37%。这个数字来自 Imperva 自己的客户和监测数据,包含搜索引擎和其他善意机器人,对你的网站没有说明力。你的占比可能是 3%,也可能是 60%,只能自己量。

过滤器怎么分辨机器人和真人

多数过滤器按多个层次给请求打分,当足够多的层次一致时判定为机器人。

层次检查什么能抓到抓不到
User agent浏览器字符串对照已知爬虫名单自报身份的爬虫:搜索、AI、SEO 工具、监测假装成 Chrome 的机器人
请求头真实浏览器一定会发的头简单的 HTTP 客户端完整复制浏览器请求头的工具
客户端信号JavaScript 是否运行;navigator.webdriver 等自动化标记;时间和屏幕的异常无头浏览器由真实浏览器驱动的机器人
网络(IP / ASN)云服务商和已知运营方的地址段数据中心流量走家庭或手机网络的机器人
频率真人不可能产生的请求速率激进的采集程序慢速、耐心的采集程序

已知机器人名单是成本最低的一层,能抓到最多自报身份的爬虫。例如 Google Analytics 4 会用 Google 自己的研究和 IAB 国际爬虫与机器人名单,排除已知机器人和爬虫的流量;它的帮助页说这个排除不能关闭,也看不到排除了多少。无论你用哪个工具,都问同一个问题:我能看到被去掉的是什么吗?

太松还是太紧:两种错误

过滤器会往两个方向出错,代价各不相同。接着用示例周:1,800 个机器人、8,200 个真人,对比一个宽松的过滤器和一个严格的过滤器。

宽松过滤器严格过滤器
抓到的机器人1,800 里的 1,0001,800 里的 1,780
误判的真人08,200 里的 300(3.7%)
报表里的会话9,000(混进 800 个机器人)7,920(7,900 真人 + 20 机器人)
访客对比真实值(8,200)+9.8%−3.4%
报表里的转化率2.73%2.99%
被标记的里面真是机器人的占比(精确率)全部85.6%
所有机器人里被抓到的占比(召回率)55.6%98.9%

复算方法:宽松过滤器的转化率 = 246 ÷ 9,000 = 2.73%。严格过滤器:假设被误判的真人按平均 3% 转化,会少 9 个转化,所以是 237 ÷ 7,920 = 2.99%。精确率 = 1,780 ÷ (1,780 + 300) = 85.6%;召回率 = 1,780 ÷ 1,800 = 98.9%。

判断规则:宽松过滤器会抬高访客数、拉低各项比率,但容易解释;严格过滤器的比率更干净,却悄悄删掉了真人,而且这些人往往是少见的那类(隐私浏览器、公司网络、VPN)。非选不可时,把机器人放进单独的报表,这样判错了还能撤回;先看清规则标记了什么,再去收紧。

丢弃、单独统计还是不识别:处理机器人的三种方式

选项识别到的机器人会怎样适合代价
不识别机器人留在真人数据里只适合和旧工具对数访客被抬高,比率被扭曲
识别并丢弃这条请求不会存储不让垃圾流量占存储和配额之后没法审计,也没法统计爬虫
识别并单独统计请求进入专门的报表,真人报表不含它大多数网站:真人数据干净,又留有谁来过的记录多一张报表要看

注意这三种都没做到的事:过滤不会拦住机器人。请求仍然到达你的服务器,页面照样返回。拦截、限速和 robots.txt 是另外的控制手段,见怎么防止网页抓取。

常见误区

  • 把机器人都当成坏的。 搜索引擎爬虫和 AI 爬虫是人们找到你的途径。要分开统计,不要删除,并在专门的报表里看它们的访问。
  • 只看 user agent 来判断。User agent 是客户端自己填的字符串;只靠它的过滤器能抓到老实的爬虫,抓不到其他的。
  • 把机器人流量和引荐垃圾混为一谈。 来源报表里出现的假引荐是相关但不同的问题,见引荐垃圾流量。
  • 前后对比却不做标注。 过滤规则变了,历史数据也会变。把日期标注出来。
  • 忘了脚本只能看到一部分机器人。 统计脚本只记录运行 JavaScript 的客户端。只抓原始 HTML 的爬虫不会触发它,这让它们不进真人数据,但也不进任何爬取统计。
  • 迷信可信度标签。「未验证」是说没能确认运营方,不是说流量是假的。

在 TapCub 里做机器人过滤

TapCub 识别机器人并单独统计,不拦截它们。以上面的示例周来走一遍:

  1. 查看模式。 在网站统计 › 配置 › 网站设置的爬虫与服务端页签里,有机器人统计模式,共四个选项:不识别、识别并丢弃、识别并单独统计(默认)、单独统计 + 服务端采集。默认模式下,识别出的机器人只进机器人报表,不计入真人的访客、会话和浏览量。只有「不识别」会把它们混进去,不推荐。
  2. 读出拆分。 打开网站统计 › 机器人。全部机器人页签列出每个机器人的名称、运营方、用途(搜索、AI 训练、AI 答案引擎、监测)、请求数、访问页数、最常见状态码、最后出现时间、可信度和命中的检测层。把这些请求数放到真人访客数旁边,就得到你自己的「1,800 对 8,200」。
  3. 审计触发的规则。 检测跑五层(user agent、请求头、客户端信号、网络、频率),足够多的层一致时才判定为机器人。可信度分已验证、疑似、未知,未知不等于伪造。见机器人检测怎么运作。
  4. 报告误判。 如果真人被标成机器人,在那一行点报告误判;平台管理员会审核,规则集由平台统一维护。见报告误判。你不能自己改规则。
  5. 知道脚本看不到什么。 只装页面脚本时,你只能看到运行 JavaScript 的机器人。状态码、响应时间和不运行 JavaScript 的爬虫,需要通过服务端事件接口做服务端采集。

TapCub 不拦截机器人的请求。要挡住某个爬虫,用 robots.txt、你的 CDN 或防火墙;之后 TapCub 在监测 › 爬虫合规里显示爬虫有没有遵守。见机器人会计入我的访客吗?。

另见:机器人缓解是什么?识别信号、处置方式和误伤的取舍。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

苏禾

数据分析师

围绕流量来源、转化漏斗与用户留存写作,重视指标口径和分析过程,用具体示例解释数字背后的问题。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

机器人过滤在统计里做什么?

它识别来自爬虫、监测程序、采集程序和脚本的自动化请求,把它们排除在真人报表之外。不过滤的话,访客会被抬高,转化率、跳出率这类比率会被根本不打算购买或阅读的流量扭曲。

机器人过滤就是拦截机器人吗?

不是。过滤决定的是报表里算什么;机器人的请求仍会到达你的服务器并得到响应。拦截、限速和 robots.txt 是服务端的控制,改变的是机器人能抓取什么。

机器人过滤会误删真实访客吗?

会。过严的过滤器可能把隐私浏览器、公司网络或 VPN 用户标成机器人。所以好的做法是把机器人放进单独报表、显示命中了哪些信号,并允许你报告误判。

我的流量里有多少是机器人?

因网站而异。Imperva 报告 2024 年自动化流量占全球网络流量的 51%,但那是它所有客户的平均值。要量自己的占比,就把机器人和真人流量拆开,比较各自的数量。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie