一句话回答
机器人缓解是识别自动化流量,并对它执行一套策略:放行、单独计数、减速、挑战或拦截。目的是减少伤害(欺诈、抓取、负载、数据失真),而不是把机器人清零,因为每条严格的规则也会拦下一些真人和有用的爬虫。
机器人缓解是什么?
机器人缓解是识别自动化流量,并对它执行一套策略。策略可以是放行、单独计数、减速、挑战或拦截。目标是减少伤害,而不是清零:被抓取的内容、撞库尝试、虚假注册、浪费的服务器容量和被污染的统计数据。每条更严格的规则也会拦下一些真人和有用的爬虫,所以缓解是要调的取舍,不是一个打开就好的开关。
OWASP 的 Automated Threats to Web Applications 项目把伤害分成有名字的类别,比如撞库、抓取、囤货和库存占用。厂商常把「机器人管理」和「机器人缓解」混用;本文用「缓解」指限制有害自动化的动作,不做产品比较。机器人本身是什么见机器人;被攻陷设备组成的网络怎么发动攻击见僵尸网络。
哪些机器人是好的,哪些是坏的?
并非所有自动化流量都不受欢迎,策略取决于类型。
| 类型 | 示例 | 通常的策略 |
|---|---|---|
| 好的(需要的) | 搜索引擎爬虫、可用性监测、订阅阅读器 | 放行;验证它们确实是自称的那个 |
| 中性的(看你自己) | SEO 工具爬虫、AI 爬虫和答案引擎 | 按运营方决定;用 robots.txt 控制 |
| 坏的(有害的) | 撞库、无视规则的抓取器、虚假注册脚本、囤积库存 | 限制、挑战或拦截 |
大多数真正要做的决定都在中性这一行。遵守 robots.txt(RFC 9309)的爬虫可以用规则引导;无视规则的,需要在服务器或网络边缘执行。
机器人是怎么被识别的?
没有任何单个信号可靠,所以检测会组合多个。下表的可靠度指的是:一个有决心的机器人伪造这个信号有多难。
| 信号 | 检查什么 | 可靠度 | 典型失效 |
|---|---|---|---|
| User-Agent 字符串 | 客户端自报的名字 | 低:任何客户端都能自称任何名字 | 抓取器假装成浏览器 |
| 网络地址 | 地址是否属于它自称的运营方 | 对公布了验证方式的爬虫较高 | 住宅代理会隐藏抓取器 |
| 正向和反向 DNS | 地址能解析到运营方的域名并能反查回来 | 高(Google 为 Googlebot 公开了这种做法) | 大多数机器人没有 |
| JavaScript 执行 | 页面脚本是否运行 | 中:简单机器人不执行,无头浏览器会执行 | 现代机器人会渲染页面 |
| 请求频率和模式 | 每个地址或会话每秒的请求数 | 中 | 缓慢、分布式的机器人躲在限制之下 |
| 行为 | 时间、移动、访问页面的顺序 | 中到高 | 需要历史数据;可能误判辅助工具 |
| robots.txt 遵守情况 | 是否抓取了禁止的路径 | 只对会读取它的爬虫有效 | 坏机器人不读 |
实用规则:只有能验证的声明才相信。 一个自称「Googlebot」的请求,如果来自反查不到 Google 的地址,那它就不是 Googlebot,不管 User-Agent 怎么写。
识别之后怎么处置?
| 处置 | 做什么 | 对真人的代价 | 适用于 |
|---|---|---|---|
| 放行 | 让请求通过 | 无 | 已验证的好机器人 |
| 单独计数 | 保留请求,但从真人报表里剔除 | 无 | 统计清洁;中性机器人 |
| 限速 | 限制每个地址或密钥的请求数 | 低,但共用地址可能被误伤 | 抓取器、登录接口 |
| 挑战 | 要求证明(脚本检查、验证码式测试) | 中:有摩擦 | 可疑但不确定的流量 |
| 拦截 | 拒绝请求 | 判错时很高 | 明确的滥用 |
| 返回诱饵或减速 | 浪费机器人的时间 | 低 | 持续的抓取器 |
合理的策略是逐级升级:先计数,再限速,对不确定的做挑战,只拦明确滥用的。
缓解该多严格?一个算例
示例数据:一个网站每天有 100,000 个请求:88,000 个来自真人,3,000 个来自好机器人,9,000 个来自坏机器人。针对这 9,000 个坏机器人请求,试了三套规则。真人访客的转化率是 3%,一次转化价值 40 美元。
| 设置 | 拦下的坏请求 | 剩下的坏请求 | 被误拦的真人 | 误判率 | 损失的转化 | 损失的收入 |
|---|---|---|---|---|---|---|
| 宽松 | 5,400(60%) | 3,600 | 40 | 0.05% | 1.2 | 48 美元 |
| 适中 | 7,200(80%) | 1,800 | 180 | 0.20% | 5.4 | 216 美元 |
| 严格 | 8,100(90%) | 900 | 450 | 0.51% | 13.5 | 540 美元 |
复算:450 ÷ 88,000 = 0.51%;450 × 3% = 13.5 次转化;13.5 × 40 美元 = 540 美元。严格规则拦下的 8,550 个请求里,有 8,100 个确实是坏的(94.7%)。
判断规则:从适中到严格,多拦下 900 个坏请求(8,100 − 7,200),同时多误拦 270 个人(450 − 180)。多损失的收入是 270 × 3% × 40 美元 = 324 美元。只有每个坏请求给你造成的损失超过 324 美元 ÷ 900 = 0.36 美元,严格才划算。对每个请求几乎没成本的抓取,适中更合适;对每次尝试损失 5 美元的欺诈,严格更合适。
机器人怎么扭曲你的统计数据?
机器人不只是在服务器上花你的钱,它们还会改变你的数字。示例数据:一个网站记录了 20,000 个会话和 400 次转化,转化率看起来是 400 ÷ 20,000 = 2.00%。如果其中 3,000 个会话是机器人(它们从不转化),真人的转化率是 400 ÷ 17,000 = 2.35%,比报表高 17.6%。机器人还会抬高跳出率、拉低平均停留时间,并给被它们抓取的页面带来虚假流量。把机器人挡在分母之外,是分析人员自己能最先做到的缓解措施;见机器人过滤。
常见误区
- 追求机器人清零:检测的最后 10% 要付出最多的误判代价。
- 相信 User-Agent 字符串:它是声明,不是证明。
- 不小心拦了搜索引擎爬虫,然后纳闷页面为什么掉出索引。
- 所有接口用同一条规则:登录表单和博客文章应该有不同的限制。
- 从不衡量误判:不检查真人转化,严格程度就只会越调越高。
- 把统计里的过滤当成防护:从报表里剔除机器人,并不能阻止它们使用你的服务器。
机器人缓解和 TapCub
TapCub 不是机器人防护产品。它不拦截、不挑战、不限速,它只衡量,让你的数字不被污染。回到上面的示例:
- 默认单独计数。 新项目使用「识别并单独统计」:认出来的机器人只出现在网站统计 › 机器人里,不进真人概览,所以你看到的是示例里的 2.35%,不是 2.00%。
- 看机器人是谁。 全部机器人页签列出名称、运营方、用途(搜索、AI 训练、答案引擎、监测)、请求数、访问页数、可信度,以及命中了哪几层检测。AI 与智能体页签显示 AI 内容账本:每个运营方的读取次数和带回的访客。
- 理解可信度。 可信度分已验证、疑似和未知;未知本身并不表示是伪造的。如果某一行判错了,可以报告误判。
- 知道限制。 只用页面脚本时,只能看到执行 JavaScript 的机器人。要看状态码和不执行 JavaScript 的爬虫,需要服务端采集或日志导入。
- 在别处执行。 限速、挑战和拦截属于你的 CDN、防火墙或网站服务器;用机器人报表决定该针对哪些运营方,并在事后检查效果。
另见:暴力破解攻击:原理与防范方法。
另见:凭据收割:定义、手法与防御。
资料来源
- OWASP,Automated Threats to Web Applications(项目页和 21 类威胁手册)。
- IETF,RFC 9309:Robots Exclusion Protocol(2022)。
- Google Search Central,Verifying Googlebot and other Google crawlers。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
