TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

机器人缓解是什么?识别信号、处置方式和误伤的取舍

机器人缓解是识别自动化流量并限制它造成的伤害,同时不误伤真人和有用的爬虫。本文讲识别信号、处置方式、一个误伤取舍的数字示例,以及它对统计数据意味着什么。

苏禾 审核人 伊森·布鲁克斯 又称 机器人管理 最后更新 2026 年 11 月 19 日 术语表

一句话回答

机器人缓解是识别自动化流量,并对它执行一套策略:放行、单独计数、减速、挑战或拦截。目的是减少伤害(欺诈、抓取、负载、数据失真),而不是把机器人清零,因为每条严格的规则也会拦下一些真人和有用的爬虫。

机器人缓解是什么?

机器人缓解是识别自动化流量,并对它执行一套策略。策略可以是放行、单独计数、减速、挑战或拦截。目标是减少伤害,而不是清零:被抓取的内容、撞库尝试、虚假注册、浪费的服务器容量和被污染的统计数据。每条更严格的规则也会拦下一些真人和有用的爬虫,所以缓解是要调的取舍,不是一个打开就好的开关。

OWASP 的 Automated Threats to Web Applications 项目把伤害分成有名字的类别,比如撞库、抓取、囤货和库存占用。厂商常把「机器人管理」和「机器人缓解」混用;本文用「缓解」指限制有害自动化的动作,不做产品比较。机器人本身是什么见机器人;被攻陷设备组成的网络怎么发动攻击见僵尸网络。

哪些机器人是好的,哪些是坏的?

并非所有自动化流量都不受欢迎,策略取决于类型。

类型示例通常的策略
好的(需要的)搜索引擎爬虫、可用性监测、订阅阅读器放行;验证它们确实是自称的那个
中性的(看你自己)SEO 工具爬虫、AI 爬虫和答案引擎按运营方决定;用 robots.txt 控制
坏的(有害的)撞库、无视规则的抓取器、虚假注册脚本、囤积库存限制、挑战或拦截

大多数真正要做的决定都在中性这一行。遵守 robots.txt(RFC 9309)的爬虫可以用规则引导;无视规则的,需要在服务器或网络边缘执行。

机器人是怎么被识别的?

没有任何单个信号可靠,所以检测会组合多个。下表的可靠度指的是:一个有决心的机器人伪造这个信号有多难。

信号检查什么可靠度典型失效
User-Agent 字符串客户端自报的名字低:任何客户端都能自称任何名字抓取器假装成浏览器
网络地址地址是否属于它自称的运营方对公布了验证方式的爬虫较高住宅代理会隐藏抓取器
正向和反向 DNS地址能解析到运营方的域名并能反查回来高(Google 为 Googlebot 公开了这种做法)大多数机器人没有
JavaScript 执行页面脚本是否运行中:简单机器人不执行,无头浏览器会执行现代机器人会渲染页面
请求频率和模式每个地址或会话每秒的请求数中缓慢、分布式的机器人躲在限制之下
行为时间、移动、访问页面的顺序中到高需要历史数据;可能误判辅助工具
robots.txt 遵守情况是否抓取了禁止的路径只对会读取它的爬虫有效坏机器人不读

实用规则:只有能验证的声明才相信。 一个自称「Googlebot」的请求,如果来自反查不到 Google 的地址,那它就不是 Googlebot,不管 User-Agent 怎么写。

识别之后怎么处置?

处置做什么对真人的代价适用于
放行让请求通过无已验证的好机器人
单独计数保留请求,但从真人报表里剔除无统计清洁;中性机器人
限速限制每个地址或密钥的请求数低,但共用地址可能被误伤抓取器、登录接口
挑战要求证明(脚本检查、验证码式测试)中:有摩擦可疑但不确定的流量
拦截拒绝请求判错时很高明确的滥用
返回诱饵或减速浪费机器人的时间低持续的抓取器

合理的策略是逐级升级:先计数,再限速,对不确定的做挑战,只拦明确滥用的。

缓解该多严格?一个算例

示例数据:一个网站每天有 100,000 个请求:88,000 个来自真人,3,000 个来自好机器人,9,000 个来自坏机器人。针对这 9,000 个坏机器人请求,试了三套规则。真人访客的转化率是 3%,一次转化价值 40 美元。

设置拦下的坏请求剩下的坏请求被误拦的真人误判率损失的转化损失的收入
宽松5,400(60%)3,600400.05%1.248 美元
适中7,200(80%)1,8001800.20%5.4216 美元
严格8,100(90%)9004500.51%13.5540 美元

复算:450 ÷ 88,000 = 0.51%;450 × 3% = 13.5 次转化;13.5 × 40 美元 = 540 美元。严格规则拦下的 8,550 个请求里,有 8,100 个确实是坏的(94.7%)。

判断规则:从适中到严格,多拦下 900 个坏请求(8,100 − 7,200),同时多误拦 270 个人(450 − 180)。多损失的收入是 270 × 3% × 40 美元 = 324 美元。只有每个坏请求给你造成的损失超过 324 美元 ÷ 900 = 0.36 美元,严格才划算。对每个请求几乎没成本的抓取,适中更合适;对每次尝试损失 5 美元的欺诈,严格更合适。

机器人怎么扭曲你的统计数据?

机器人不只是在服务器上花你的钱,它们还会改变你的数字。示例数据:一个网站记录了 20,000 个会话和 400 次转化,转化率看起来是 400 ÷ 20,000 = 2.00%。如果其中 3,000 个会话是机器人(它们从不转化),真人的转化率是 400 ÷ 17,000 = 2.35%,比报表高 17.6%。机器人还会抬高跳出率、拉低平均停留时间,并给被它们抓取的页面带来虚假流量。把机器人挡在分母之外,是分析人员自己能最先做到的缓解措施;见机器人过滤。

常见误区

  • 追求机器人清零:检测的最后 10% 要付出最多的误判代价。
  • 相信 User-Agent 字符串:它是声明,不是证明。
  • 不小心拦了搜索引擎爬虫,然后纳闷页面为什么掉出索引。
  • 所有接口用同一条规则:登录表单和博客文章应该有不同的限制。
  • 从不衡量误判:不检查真人转化,严格程度就只会越调越高。
  • 把统计里的过滤当成防护:从报表里剔除机器人,并不能阻止它们使用你的服务器。

机器人缓解和 TapCub

TapCub 不是机器人防护产品。它不拦截、不挑战、不限速,它只衡量,让你的数字不被污染。回到上面的示例:

  1. 默认单独计数。 新项目使用「识别并单独统计」:认出来的机器人只出现在网站统计 › 机器人里,不进真人概览,所以你看到的是示例里的 2.35%,不是 2.00%。
  2. 看机器人是谁。 全部机器人页签列出名称、运营方、用途(搜索、AI 训练、答案引擎、监测)、请求数、访问页数、可信度,以及命中了哪几层检测。AI 与智能体页签显示 AI 内容账本:每个运营方的读取次数和带回的访客。
  3. 理解可信度。 可信度分已验证、疑似和未知;未知本身并不表示是伪造的。如果某一行判错了,可以报告误判。
  4. 知道限制。 只用页面脚本时,只能看到执行 JavaScript 的机器人。要看状态码和不执行 JavaScript 的爬虫,需要服务端采集或日志导入。
  5. 在别处执行。 限速、挑战和拦截属于你的 CDN、防火墙或网站服务器;用机器人报表决定该针对哪些运营方,并在事后检查效果。

另见:暴力破解攻击:原理与防范方法。

另见:凭据收割:定义、手法与防御。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

苏禾

数据分析师

围绕流量来源、转化漏斗与用户留存写作,重视指标口径和分析过程,用具体示例解释数字背后的问题。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

机器人缓解是什么?

是检测自动化流量,并按策略处理的做法,比如放行、限速、挑战或拦截。目标是减少机器人造成的损害,同时让真人访客和搜索引擎这类有用的爬虫通过。

机器人缓解和机器人管理有什么区别?

这两个词常常混用。如果要区分,管理指整套策略(欢迎哪些机器人、报表、规则),缓解指限制有害机器人的动作。

怎么检测机器人?

组合多种信号:自报的 User-Agent 能否和网络地址对得上、JavaScript 是否执行、请求频率、时间和浏览路径等行为,以及是否遵守 robots.txt。任何单个信号都不可靠。

机器人缓解会拦到真人吗?

会。每条规则都有误判率。本文示例里,最严格的设置能拦下 90% 的恶意机器人请求,同时也拦下 0.51% 的真人访客,所以严格到什么程度,取决于损失一位访客和放过一个恶意请求各自的成本。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie