一句话回答
验证是用证据确认某样东西满足预期用途。核查问的是有没有按规格做出来,验证问的是它是否满足真实需求。对产品功能来说,验证要看行为:多少人试过、多少人又用了一次、这些人回访是否比以前更多。
什么是验证(validation)?
验证(validation)是用证据确认某样东西在它预期的用途上确实管用。这个词用在好几个领域(数据、软件、医疗、研究),但它们共用一个检验标准:问的不是「是否按计划做出来了」,而是「它在存在的目的上有没有用」。
做产品时,目的就是人的需求,所以证据必须来自人:他们选了什么、用了什么、回来了几次。团队自己觉得有用的功能,没有被验证。一个功能有 30% 的活跃用户试过,试过的人里又有 40% 再次使用,才算开始被验证。本文给出验证的定义,把它和核查(verification)分开,列出常见的三种验证,并给一条用数据判断新功能是否通过的规则。
验证和核查(verification)有什么区别?
这两个词经常被混用,但回答的是不同的问题。Barry Boehm 1981 年的说法流传很广:核查问的是产品有没有做对,验证问的是做的是不是对的产品。
| 核查(verification) | 验证(validation) | |
|---|---|---|
| 问题 | 有没有按规格做出来? | 它在预期用途上满足真实需求吗? |
| 对照什么 | 需求和设计文档 | 用户或客户的需求 |
| 谁来判断 | 通常是团队:测试、评审、检查 | 使用它的人,或他们行为的证据 |
| 常见证据 | 测试通过、评审签字 | 采用、重复使用、留存、验收 |
| 例子 | 导出按钮在 5 秒内生成正确的 CSV | 14 天后,人们导出报表,而且还会回来再导 |
| 一个过了,另一个能不过吗? | 能:把错误的东西做得很完美 | 能:想法对,做出来有缺陷 |
维基百科综述了 ISO 9001:2015 和 IEEE 采用的 PMBOK 指南:核查是符合需求,验证是确保产品满足客户和其他相关方的需要。产品可以通过核查却过不了验证,只要规格从一开始就没对上真实需求。
验证有哪三种?
| 种类 | 问题 | 证据 | 什么时候 | 例子 |
|---|---|---|---|---|
| 需求验证 | 问题真实吗?人们想要这个方案吗? | 访谈、报名、假门测试 | 开发之前 | 访客点击一个尚不存在的功能的「即将上线」按钮 |
| 产品验证 | 做出来的东西有人用、有人反复用吗? | 采用、重复使用、留存 | 上线之后 | 1,200 个活跃用户里,30% 试了新功能 |
| 数据验证 | 这些数据符合规则吗? | 格式、范围、一致性检查 | 数据录入或搬运时 | 邮箱输入框拒绝不含 @ 的文字 |
需求验证在最小可行产品出现之前,用很低的成本检验一个产品假设,完整流程见产品验证。数据验证是同一个词的另一层意思,有单独的词条:数据验证。有一点值得知道:MDN 的表单验证指南指出,浏览器端的检查是为了方便用户,不是安全措施,应用必须在服务端再验证一次,因为客户端检查很容易被绕过。
本文集中讲产品验证,因为这里答案由行为数据决定。
怎么判断新功能是否通过验证?
常见的失败做法是:先上线,看着数字变化,事后觉得「看起来不错」。要用一条上线前就定好的规则,由三项检查组成,口径相同(对每周使用的功能,14 天是常见选择):
- 采用。 用过该功能至少一次的用户 ÷ 有权使用的活跃用户。目标示例:至少 25%。
- 重复使用。 试过的人里,在窗口内另一天又用了一次的占比。目标示例:至少 35%。一次试用说明好奇,第二次使用说明这个功能挣到了位置。
- 对照用户自己的基线看回访。 功能用户在之后 14 天回来的占比,与同一批人在上线前 14 天的回访率比较,而不是与没用这个功能的人比较。
第三项存在的原因是:爱试新功能的人通常本来就更活跃。拿他们去比没用的人,测出来的是这些人是谁,不是功能做了什么。三项都要过;每个目标的数字由你定,关键是在看数据之前定好。
算例:「保存报表」通过验证了吗?
示例数据:某产品上线了「保存报表」功能。前 14 天里,有 1,200 个活跃用户能用到它。上线前定的目标:采用至少 25%;重复使用至少 35%;回访不低于这批用户自己上线前的水平。
| 指标 | 计算 | 结果 | 目标 | 结论 |
|---|---|---|---|---|
| 采用 | 360 ÷ 1,200 | 30.0% | ≥ 25% | 通过 |
| 重复使用 | 144 ÷ 360 | 40.0% | ≥ 35% | 通过,见下文 |
| 上线后回访,功能用户 | 234 ÷ 360 | 65.0% | ||
| 上线前回访,同样这 360 人 | 198 ÷ 360 | 55.0% | ||
| 功能用户的变化 | 65.0% − 55.0% | +10.0 个百分点 | ≥ 0 | 通过 |
容易想到的比较,是功能用户对没用的所有人:65.0% 对 294 ÷ 840 = 35.0%,差 30 个百分点。这个差距的大部分来自谁愿意去试。他们自己的前后对比,+10.0 个百分点,是更公平的数字,但它仍然不是因果的证明,因为这几周里可能还有别的变化。对 840 个没用的用户,回访率从 300 ÷ 840 = 35.7% 变成 35.0%,下降 0.7 个百分点,所以整个产品从 498 ÷ 1,200 = 41.5% 变成 528 ÷ 1,200 = 44.0%,上升 2.5 个百分点。
再看噪声。重复使用率的 95% 区间是 40.0% ± 1.96 × √(0.40 × 0.60 ÷ 360) = 40.0% ± 5.1 个百分点,约 34.9% 到 45.1%。点估计达到了 35% 的目标,但区间下限刚好落在目标下面,所以只算暂时通过,第 28 天再复查。采用率 30.0% ± 2.6 个百分点,明显高于 25%。
关于验证的常见误区
- 把上线当验证。 上线只说明团队做完了。验证要证据证明有人在用。
- 把核查当验证。 「测试全过」说明功能符合规格,不说明有没有人想要。
- 相信人们说的会怎么做。 访谈回答和问卷意愿只是起点,行为才是证据:假门上的一次点击,比「是的,我会用」更有说服力。
- 看到结果之后再定目标。 为迎合数据而定的目标,不可能不通过。
- 拿用户和非用户比。 试新功能的人本来就更活跃;要拿人和他们自己之前的行为比。
- 把合计当结果。 「10,000 次点击」只是个计数。要除以本可以点击的人。
- 混用几种含义。 一个项目可以通过数据验证(事件上报正确),却过不了产品验证(没人用这个功能)。
怎么在 TapCub 里做这项检查?
下面把「保存报表」的例子放进 TapCub 走一遍。TapCub 负责衡量行为,不做 A/B 测试,也不发问卷。
- 给功能发一个事件。 用自定义事件发送
report_saved,并在 全端分析 › 数据管理 › 埋点方案 里登记并设状态。打开「实时验证(近 24 h)」,能看到事件有没有到达、必填属性是否填全,这是对事件本身的数据验证。 - 看采用。 在 全端分析 › 行为分析 › 行为分析 里,用事件分析页签看
report_saved。去重人数聚合给出用过的人,活跃占比聚合给出占活跃用户的比例。 - 数重复使用。 在 全端分析 › 用户 › 分群与标签 里建一个规则分群:近 14 天做过至少 2 次
report_saved的人,把它的成员数和至少做过 1 次的人数比较。分群需要识别出来的用户,所以要调用tapcub.login识别人;匿名访客没有档案。 - 让人和自己比。 在留存视图里,起始事件选
report_saved,回访事件选任意活跃,再把同一批人上线前的窗口作为另一段日期范围运行。留存没有对比期开关,所以两个日期范围要先后各跑一次,并在 配置 › 日期标注 里记下上线日期。 - 把结论写在目标旁边。 把三项结果和上线前写好的目标并排记下来。完整流程见衡量产品采用。
资料来源
- Verification and validation,维基百科(Boehm 1981 年的说法;ISO 9001:2015 与 PMBOK / IEEE 的定义)
- Client-side form validation,MDN Web Docs(客户端与服务端验证)
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
