一句话回答
根因分析(RCA)是一种有结构的办法,从问题往回推,找到它发生的根本原因,让修复去掉源头,而不是症状。对指标下降来说,就是找到变化在哪里、什么时候开始,再检验候选的原因。
公式: 某一段的贡献 = 该段的变化 ÷ 总变化
什么是根因分析?
根因分析(RCA)是一种有结构的办法,从问题出发往回推,找到它发生的根本原因,这样修复去掉的是源头,而不是症状。检验根因的标准很实际:把它修好,问题就不该再回来。Google 的站点可靠性工程(SRE)一书把事后复盘描述为记录事故的一个或多个根因,并把所有促成原因搞清楚,以便落实预防措施。
在数据分析里,根因分析通常从一个变动的指标开始:销售下降 22%、注册持平、错误上升。它位于诊断性分析的末端。诊断性分析把变化拆开,找到变化集中在哪里;根因分析继续往下问为什么,再确认修复生效。方法的名字没那么重要,重要的是纪律。大多数修错的情况来自跳过了某一步,而不是选错了工具。
症状、直接原因、根因
这三个层次很容易混淆,每一层需要的行动也不同。
| 层次 | 问题 | 例子(示例) | 行动 |
|---|---|---|---|
| 症状 | 我们注意到了什么? | 订单环比下降 22% | 告警、分诊 |
| 直接原因 | 是什么直接造成的? | 支付按钮在手机 Safari 里没有反应 | 回滚或热修复 |
| 根因 | 为什么会发生这种事? | 发版前的测试只跑了 Chrome,浏览器清单从没更新过 | 改流程,让它不再发生 |
这个例子里的链条,写成五个为什么:订单下降 → 手机 Safari 里支付失败 → 这次发版用了当前 Safari 版本运行不了的代码 → 发版前的测试里没有 Safari 设备 → 没人负责浏览器清单。停在直接原因,是最常见的失败。大野耐一那个有名的例子是一台停掉的机器:换掉烧断的保险丝机器就恢复了,但如果不去问保险丝为什么烧断、那又是为什么,直到问到你能改变的东西,几个月内问题就会回来。
常见的根因分析方法,各自适合什么
| 方法 | 怎么做 | 适合 | 注意 |
|---|---|---|---|
| 五个为什么 | 对每个答案追问「为什么?」,大约五次 | 流程里单一的一条因果链 | 不同的人会给出不同的链;一个问题可能有不止一个根因(美国医疗改善研究所 IHI) |
| 鱼骨图(石川图) | 按类别(人、流程、工具、环境)列出可能的原因 | 原因不清楚时头脑风暴 | 只列出可能性,不检验 |
| 故障树 | 从故障往下,按事件的「与 / 或」组合推 | 有冗余的工程系统 | 需要对系统有好的模型 |
| 变更分析 | 问问题出现之前刚改了什么 | 指标下降、故障、回归 | 抓不到不是「变更」的原因(缓慢漂移) |
| 分群拆解 | 按时间、渠道、设备、页面、版本拆开指标 | 产品和营销指标 | 无休止地切,会碰到偶然的模式 |
对一次指标下降来说,最后两种承担了大部分工作。Google SRE 一书把「最近改了什么」称为「最后动过它的是什么」:运转正常的系统往往会一直正常,直到有外部因素扰动它,所以先看部署、配置变更和负载变化,并在图上标注部署时间,看出两者的联系。
面向指标下降的数据优先方法
- 确定起点。 看按小时或按天的数据,找到它真正开始的时间,而不是有人注意到的时间。和同一个星期几比,也和季节性比。
- 先查数据,再查产品。 统计脚本不见了、机器人激增或导入延迟,看起来和真实的下降一模一样。
- 从上往下按顺序拆。 把变化按时间、渠道、设备、浏览器或版本、页面拆开。每一层,留下解释了大部分变化的那一格,在里面继续拆。当下一次拆分不再让任何东西集中时停下。
- 对上变更记录。 发版、活动调整、价格调整、故障。这是形成假设,不是证明。
- 检验候选原因。 它必须通过四项检验:时间(它在原因出现时开始)、大小(它解释了大部分下降)、特异性(没有受到这个变更的群体保持平稳)和可逆(撤销它指标会回来)。
- 修根因,再验证。 现在回滚或修复直接原因,改变让它得以发生的流程,并看同一个拆解,确认那一格恢复。
Google SRE 一书描述的是同一个循环:提出原因,把理论预测的和你看到的对比来检验,并提醒「相关不等于因果」:两件事同时变动,可能因为有共同原因,也可能只是巧合。
算例:订单下降 22%
示例数据:一家网店。上周:40,000 次会话,1,200 个订单(3.00%)。本周:40,200 次会话,936 个订单(2.33%)。变化:−264 个订单。
第 1 步:是流量还是转化? 会话持平(+0.5%),所以损失在转化,不在来了多少人。
第 2 步:按设备拆。 贡献 = 格子的变化 ÷ 总变化。
| 设备 | 上周 | 本周 | 变化 | 贡献 |
|---|---|---|---|---|
| 桌面 | 700 | 690 | −10 | 3.8% |
| 手机 | 500 | 246 | −254 | 96.2% |
| 合计 | 1,200 | 936 | −264 | 全部 |
第 3 步:把手机按浏览器拆。
| 手机浏览器 | 上周 | 本周 | 变化 | 占总变化的贡献 |
|---|---|---|---|---|
| Safari | 330 | 78 | −252 | 95.5% |
| Chrome | 170 | 168 | −2 | 0.8% |
第 4 步:确定起点。 上周手机 Safari 的订单平均每天 47 个(330 ÷ 7)。本周:周一 20、周二 11、周三 12、周四 10、周五 9、周六 8、周日 8(合计 78)。假设一个典型日的 47 个手机 Safari 订单里,约有 10 个在 10:20 之前到来。周一的 20 个订单里有 10 个在此之前,属于正常;另外 10 个出现在剩下的 13 小时 40 分钟里,而正常的周一在这段时间会再增加约 37 个。发版记录显示周一 10:20 有一次发版。
第 5 步:看漏斗内部。 手机 Safari 的开始结账几乎没变(1,100 → 1,090),但完成支付从 330 降到 78:占开始结账的比例从 30.0% 降到 7.2%。损失出在支付这一步。
第 6 步:检验。 时间和发版对得上,大小解释了 95.5% 的下降,特异性成立(Chrome 和桌面持平),而且在这份示例里,周二上午回滚发版后 Safari 回到每天约 44 个订单,通过了可逆检验。按前面五个为什么的链条,根因是:这次发版带了当时在用的 Safari 版本运行不了的代码,而没有测试发现它。
注意这些贡献表没说什么:它们把问题定位到一个浏览器、一个时刻,没有说为什么。「为什么」来自变更记录和一次检验。
根因分析的常见误区
- 停在第一个答案。「按钮坏了」是直接原因。要问为什么会这样。
- 停在某个人身上。「有人犯了错」几乎从来不是根因;要问是什么让这个错误通过了。
- 假设只有一个原因。 几个因素可以叠加。把主要的都点出来。
- 把相关当因果。 发版和下降同时发生,在通过四项检验之前只是假设。
- 一直切到出现结果为止。 维度够多时,总有一格会因为偶然看起来异常。优先用你本来就会做的拆分,并留意结构偏移:每个群体都在变好,总体却在下降(见诊断性分析)。
- 不验证。 只有同一格恢复了,修复才算得到确认。
- 把正常波动当问题。 开始调查之前,先看异常检测和季节性。
针对流量的检查清单,见网站流量突然下降。
在 TapCub 里做根因分析
订单这个例子在 TapCub 里是这样的。TapCub 帮你找到在哪里、什么时候;它不替你判定原因。
- 尽早发现。 在全端分析 › 智能运营 › 监控里,对内置指标(访客、会话、跳出率、错误率、错误数)或一个已保存的指标(比如订单,需要你先定义)建监控,可以用同环比、预测基线或异常检测条件,试跑会告诉你过去 30 天会触发几次。再加一个采集中断监控,脚本坏了一小时内就能发现。监控只通知,不会替你操作。见流量告警。
- 先排除数据问题。 在怪产品之前,看网站统计 › 机器人里有没有机器人激增,看采集中断告警有没有数据缺失。
- 定位。 打开全端分析 › 智能运营 › AI 助手里的为什么变了页签。它和上一周期或去年同期对比,按渠道、来源域名、国家、设备、着陆页、平台等维度拆开,拆一到两层,按每个值的贡献(该值的变化 ÷ 总变化)排序,和上面的表是同一种算法。它告诉你在哪里,不告诉你为什么,也不会建监控或发通知。
- 再往下一层。 网站统计 › 受众列出浏览器和操作系统,能展开到版本;点一个浏览器就会加上筛选,再打开来源或页面。它的版本拆分是用来发现某一个浏览器版本的,然后用监测 › 错误看这个版本上的报错。
- 对上变更记录。 图表上的标注记录发版和活动,每个新的 App 或小程序版本会自动生成一条发版标注。把网页发版也加成标注,第 4 步的问题就有了答案。
- 验证修复。 下一周看同一个拆解。那一格应该回到正常范围。
另见:什么是排错?定义、六个步骤和示例。
资料来源
- Beyer, B.、Jones, C.、Petoff, J.、Murphy, N. R.(编),Site Reliability Engineering,「Effective Troubleshooting」一章(Google,2016)。
- Beyer, B. 等(编),Site Reliability Engineering,「Postmortem Culture: Learning from Failure」一章(Google,2016)。
- Institute for Healthcare Improvement,5 Whys: Finding the Root Cause。
- Ohno, T.(1988)。Toyota Production System: Beyond Large-Scale Production。Productivity Press。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
