一句话回答
护栏指标是团队在优化主要指标时承诺要守住的指标。一项改动即使提升了主要指标,只要让某个护栏指标越过事先约定的界限(比如页面变慢、退款变多),就要先修好再上线。
什么是护栏指标?
护栏指标(Guardrail Metrics)是你在努力达成主要目标时,承诺不让它变差的那些数字。新的结账页提升了转化,却让页面变慢、退款变多,护栏指标就能把这种情况拦下来。
这个概念来自线上实验:每个实验有一个主要指标,再加几个事先定好的护栏指标。它同样适用于任何改动:改版、调价、新的引导流程。
主要指标、护栏指标和诊断指标
| 类型 | 作用 | 例子 |
|---|---|---|
| 主要指标(成功指标) | 改动想要提升的东西 | 结账转化率 |
| 护栏指标 | 不能变差的东西 | 页面加载时间、错误率、退款率 |
| 诊断指标 | 解释主要指标为什么变 | 漏斗每一步的流失 |
主要指标通常和你的北极星指标挂钩,护栏指标保护的是它周围的业务和用户体验。
常见的护栏指标
- 性能:页面加载时间、Core Web Vitals、App 崩溃率。
- 稳定性:JavaScript 错误率、支付失败。
- 收入质量:退款率、客单价、取消订单。
- 用户信任:退订率、投诉、每单客服工单数。
- 使用体验:狂点、关键页面的跳出率。
一份实验结果示例
团队测试新的结账页,界限在实验前就约定好了(示例数字):
| 指标 | 角色 | 对照组 | 实验组 | 变化 | 界限 | 结果 |
|---|---|---|---|---|---|---|
| 结账转化率 | 主要 | 3.00% | 3.12% | +4.0% | — | 提升 |
| p75 页面加载 | 护栏 | 2.1 秒 | 2.6 秒 | +23.8% | ≤ +10% | 未通过 |
| JS 错误率 | 护栏 | 0.40% | 0.42% | +5.0% | ≤ +20% | 通过 |
| 退款率(30 天) | 护栏 | 2.0% | 2.1% | +5.0% | ≤ +10% | 通过 |
转化率涨了,但页面加载越过了界限。结论是先解决性能问题再测一次,而不是先上线再说。
怎么挑护栏指标
- 先想会出什么问题。 列出这次改动可能造成的损害:页面变慢、错误变多、客单价下降、用户不满。
- 控制在三到五个。 护栏太多,几乎每次实验都会有一些因为随机波动而越界。
- 开始前定好界限。 写下每个护栏指标允许变差多少。看到结果再定,容易带偏判断。
- 优先选反应快的指标。 错误率几小时就能看出问题,流失可能要几个月。
- 重复使用。 每次实验用同一组护栏,结果才能互相比较。
在 TapCub 里盯护栏指标
TapCub 不做 A/B 测试,但任何上线之后都可以盯护栏指标。打开 全端分析 › 智能运营 › 监控,为每个护栏指标建一条监控。内置量包括错误率、错误数、跳出率、平均时长,也可以选一条已保存的指标。硬性界限用「固定阈值」,和上一周期比的突变用「同环比」,狂点用「挫败点击」(每千次浏览的狂点数),有了约 30 天历史后可以用异常检测。「试跑」会告诉你这条规则在近 30 天会触发几次。再用日期标注标出上线日期,图表上就能看到改动的时间点。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
