一句话回答
机器人过滤是网站分析里识别爬虫、监测程序、采集程序等自动化流量,并让它们不进入真人报表的环节,使访客、会话和转化率描述的是真实的人。把机器人拆进单独的报表,比悄悄删掉更可靠。
什么是机器人过滤?
机器人过滤是网站分析里的一个环节:识别自动化流量(即机器人流量:搜索爬虫、可用性监测、采集程序、AI 爬虫、垃圾脚本),把它们挡在人的报表之外,让访客、会话和转化率描述的是真人。它通常综合多个信号,因为没有哪一种检查能抓住所有机器人。邮件分析里也用同样的词,意思是去掉机器产生的打开和点击;本页讲的是网站和 App。
更有用的理解不是「删掉一部分数据」,而是把一股流量拆成两份:人和机器人,各有一个数字。如果你能说出「真人 8,200 次会话,机器人 1,800 次」,两边的任何变化你都能解释。如果一个工具悄悄去掉流量,又拿不出去掉了什么,你就没法审计它。
为什么重要:一周,两套数字
示例数据:一个网站一周记录了 10,000 次会话。团队不知道的是,其中 1,800 次是机器人(加载页面、几乎不转化、只停留几秒),8,200 次是真人。
| 指标 | 只看真人(8,200) | 只看机器人(1,800) | 全部混在一起(10,000) |
|---|---|---|---|
| 转化数 | 246 | 0 | 246 |
| 转化率 | 3.00% | 0.00% | 2.46% |
| 跳出率 | 46%(3,772) | 95%(1,710) | 54.8% |
| 平均停留时长 | 120 秒 | 4 秒 | 99 秒 |
复算方法:转化率 = 246 ÷ 8,200 = 3.00%,但 246 ÷ 10,000 = 2.46%。混合跳出率 = (3,772 + 1,710) ÷ 10,000 = 54.8%。混合平均时长 = (8,200 × 120 + 1,800 × 4) ÷ 10,000 = 99.1 秒。
产品什么都没变,转化看起来却差了 18%,跳出率高了近 9 个点。机器人对各项指标的扭曲并不一样,方向取决于它们的行为:不运行脚本的采集程序可能根本不出现,而无头浏览器会抬高访客数和跳出率。
总体规模有多大?Imperva 的《2025 年恶意机器人报告》给出 2024 年自动化流量占全球网络流量的 51%,其中恶意机器人占 37%。这个数字来自 Imperva 自己的客户和监测数据,包含搜索引擎和其他善意机器人,对你的网站没有说明力。你的占比可能是 3%,也可能是 60%,只能自己量。
过滤器怎么分辨机器人和真人
多数过滤器按多个层次给请求打分,当足够多的层次一致时判定为机器人。
| 层次 | 检查什么 | 能抓到 | 抓不到 |
|---|---|---|---|
| User agent | 浏览器字符串对照已知爬虫名单 | 自报身份的爬虫:搜索、AI、SEO 工具、监测 | 假装成 Chrome 的机器人 |
| 请求头 | 真实浏览器一定会发的头 | 简单的 HTTP 客户端 | 完整复制浏览器请求头的工具 |
| 客户端信号 | JavaScript 是否运行;navigator.webdriver 等自动化标记;时间和屏幕的异常 | 无头浏览器 | 由真实浏览器驱动的机器人 |
| 网络(IP / ASN) | 云服务商和已知运营方的地址段 | 数据中心流量 | 走家庭或手机网络的机器人 |
| 频率 | 真人不可能产生的请求速率 | 激进的采集程序 | 慢速、耐心的采集程序 |
已知机器人名单是成本最低的一层,能抓到最多自报身份的爬虫。例如 Google Analytics 4 会用 Google 自己的研究和 IAB 国际爬虫与机器人名单,排除已知机器人和爬虫的流量;它的帮助页说这个排除不能关闭,也看不到排除了多少。无论你用哪个工具,都问同一个问题:我能看到被去掉的是什么吗?
太松还是太紧:两种错误
过滤器会往两个方向出错,代价各不相同。接着用示例周:1,800 个机器人、8,200 个真人,对比一个宽松的过滤器和一个严格的过滤器。
| 宽松过滤器 | 严格过滤器 | |
|---|---|---|
| 抓到的机器人 | 1,800 里的 1,000 | 1,800 里的 1,780 |
| 误判的真人 | 0 | 8,200 里的 300(3.7%) |
| 报表里的会话 | 9,000(混进 800 个机器人) | 7,920(7,900 真人 + 20 机器人) |
| 访客对比真实值(8,200) | +9.8% | −3.4% |
| 报表里的转化率 | 2.73% | 2.99% |
| 被标记的里面真是机器人的占比(精确率) | 全部 | 85.6% |
| 所有机器人里被抓到的占比(召回率) | 55.6% | 98.9% |
复算方法:宽松过滤器的转化率 = 246 ÷ 9,000 = 2.73%。严格过滤器:假设被误判的真人按平均 3% 转化,会少 9 个转化,所以是 237 ÷ 7,920 = 2.99%。精确率 = 1,780 ÷ (1,780 + 300) = 85.6%;召回率 = 1,780 ÷ 1,800 = 98.9%。
判断规则:宽松过滤器会抬高访客数、拉低各项比率,但容易解释;严格过滤器的比率更干净,却悄悄删掉了真人,而且这些人往往是少见的那类(隐私浏览器、公司网络、VPN)。非选不可时,把机器人放进单独的报表,这样判错了还能撤回;先看清规则标记了什么,再去收紧。
丢弃、单独统计还是不识别:处理机器人的三种方式
| 选项 | 识别到的机器人会怎样 | 适合 | 代价 |
|---|---|---|---|
| 不识别 | 机器人留在真人数据里 | 只适合和旧工具对数 | 访客被抬高,比率被扭曲 |
| 识别并丢弃 | 这条请求不会存储 | 不让垃圾流量占存储和配额 | 之后没法审计,也没法统计爬虫 |
| 识别并单独统计 | 请求进入专门的报表,真人报表不含它 | 大多数网站:真人数据干净,又留有谁来过的记录 | 多一张报表要看 |
注意这三种都没做到的事:过滤不会拦住机器人。请求仍然到达你的服务器,页面照样返回。拦截、限速和 robots.txt 是另外的控制手段,见怎么防止网页抓取。
常见误区
- 把机器人都当成坏的。 搜索引擎爬虫和 AI 爬虫是人们找到你的途径。要分开统计,不要删除,并在专门的报表里看它们的访问。
- 只看 user agent 来判断。User agent 是客户端自己填的字符串;只靠它的过滤器能抓到老实的爬虫,抓不到其他的。
- 把机器人流量和引荐垃圾混为一谈。 来源报表里出现的假引荐是相关但不同的问题,见引荐垃圾流量。
- 前后对比却不做标注。 过滤规则变了,历史数据也会变。把日期标注出来。
- 忘了脚本只能看到一部分机器人。 统计脚本只记录运行 JavaScript 的客户端。只抓原始 HTML 的爬虫不会触发它,这让它们不进真人数据,但也不进任何爬取统计。
- 迷信可信度标签。「未验证」是说没能确认运营方,不是说流量是假的。
在 TapCub 里做机器人过滤
TapCub 识别机器人并单独统计,不拦截它们。以上面的示例周来走一遍:
- 查看模式。 在网站统计 › 配置 › 网站设置的爬虫与服务端页签里,有机器人统计模式,共四个选项:不识别、识别并丢弃、识别并单独统计(默认)、单独统计 + 服务端采集。默认模式下,识别出的机器人只进机器人报表,不计入真人的访客、会话和浏览量。只有「不识别」会把它们混进去,不推荐。
- 读出拆分。 打开网站统计 › 机器人。全部机器人页签列出每个机器人的名称、运营方、用途(搜索、AI 训练、AI 答案引擎、监测)、请求数、访问页数、最常见状态码、最后出现时间、可信度和命中的检测层。把这些请求数放到真人访客数旁边,就得到你自己的「1,800 对 8,200」。
- 审计触发的规则。 检测跑五层(user agent、请求头、客户端信号、网络、频率),足够多的层一致时才判定为机器人。可信度分已验证、疑似、未知,未知不等于伪造。见机器人检测怎么运作。
- 报告误判。 如果真人被标成机器人,在那一行点报告误判;平台管理员会审核,规则集由平台统一维护。见报告误判。你不能自己改规则。
- 知道脚本看不到什么。 只装页面脚本时,你只能看到运行 JavaScript 的机器人。状态码、响应时间和不运行 JavaScript 的爬虫,需要通过服务端事件接口做服务端采集。
TapCub 不拦截机器人的请求。要挡住某个爬虫,用 robots.txt、你的 CDN 或防火墙;之后 TapCub 在监测 › 爬虫合规里显示爬虫有没有遵守。见机器人会计入我的访客吗?。
资料来源
- Google Analytics 帮助,Known bot-traffic exclusion。
- Imperva,2025 Bad Bot Report: How AI is Supercharging the Bot Threat。
- Swetrix,What is bot filtering?(定义和多信号综合判断)。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
