产品优化是对现有产品的持续改进,以循环的方式进行:选一个指标和一个护栏,找出修好值得最多的漏斗步骤,写一条带证据的假设,上线或测试一个小改动并读结果。按每次修复能增加多少来排序,而不是凭感觉。
读完你会知道
- 按每次修复的上限给漏斗步骤排序,而不只看比率最低的:示例中把第一步提到 80%,第 7 天多出 67 个用户
- 效果越小,需要的人越多:把提升从 +10 个百分点减半到 +5,每个版本所需注册从 343 增加到 1,434
- 给落空留余地:如果三分之一的点子能赢,平均要三次实验才赢一次
什么是产品优化,什么不是?
产品优化是对已经存在的产品持续改进,让更多使用它的人从中获得价值并且回来。它不同于决定“做什么”的产品探索,也不同于优化营销页面:目标不是让横幅多一次点击,而是让更多人走到“产品对他们起作用”的那个点。
本文用的工作定义是一个循环,而不是一次性项目:
选指标 → 找最大差距 → 写假设 → 测试或上线一个小改动 → 读结果 → 保留、修改或放弃 → 选下一个差距。
本文讲这个循环的前半段,也是多数团队出错的地方:用数字而不是意见来选指标和差距。测试这一步本身见 A/B 测试指南。请记住这个主张:循环的速度取决于最慢的那一步,而最慢的通常是搞清楚哪个差距值得修。 即使精心设计,多数点子也不会奏效:Bing 的一个团队报告说,他们测试的点子里,能推动预期指标的不到三分之一,所以你需要一种好好选择的办法,也要预期会有落空。
循环的六步是什么?
| 步骤 | 问题 | 产出 |
|---|---|---|
| 1. 指标 | 这个产品成功是什么样? | 一个有定义和时间窗口的指标 |
| 2. 差距 | 最大的短板在哪里,是哪些人? | 一个标出某一步的漏斗或采用率图 |
| 3. 假设 | 差距为什么存在,什么改动能补上? | 一句带证据和目标的话 |
| 4. 改动 | 能验证假设的最小版本是什么? | 几周内能上线或测试的小改动 |
| 5. 读结果 | 指标动了吗,别的东西坏了吗? | 带护栏检查的结果 |
| 6. 决定 | 保留、修改还是放弃? | 一条书面决定,以及下一个差距 |
有两个习惯让循环转得起来。一是每一步都写下来,因为跳过书面假设的团队,事后没法判断自己当初对不对。二是一次只改一件事、只动漏斗里的一步,这样指标的变化只有一种可能的解释。
怎么选指标?
从产品的用途出发,而不是从工具默认显示的数字出发。有一个好用的方法来自 Google 的 HEART 框架,由 Kerry Rodden、Hilary Hutchinson 和 Xin Fu 在 2010 年 CHI 论文里提出。它把以用户为中心的指标分成五类:愉悦、参与、采用、留存和任务成功,并建议先把每个产品目标对应到信号、再对应到指标,而不是先挑指标。
对没有问卷数据的团队,五类里有三类仅凭行为就能测:
- 采用: 新用户或活跃用户里做了某件关键事的占比,比如创建项目或使用某个功能。
- 留存: 首次访问之后回来的占比,按日、周或月。
- 任务成功: 完成一项有顺序的任务(如设置或结算)的占比,以及耗时。
这一轮只选一个主指标,再指定一个护栏指标:追逐主指标时不能变差的数字。想提高激活率的产品,可以用“每个新用户的客服工单数”作护栏。怎么选可以看护栏指标和北极星指标两页。
怎么找到最大的差距?
把你希望用户走的路径画成有顺序的漏斗,每一步用真实事件,看哪一步之间的比率最弱。然后按“修好每一步值多少”来排序。
示例数据:一个月 1,000 个新注册,走过新手引导的四步。
| 步骤 | 人数 | 相对上一步 | 这一步流失 |
|---|---|---|---|
| 注册 | 1,000 | — | — |
| 创建了项目 | 620 | 62.0% | 380 |
| 装好了代码 | 410 | 66.1% | 210 |
| 发出第一个事件 | 330 | 80.5% | 80 |
| 第 7 天回来 | 231 | 70.0% | 99 |
最终 1,000 个注册里有 231 个(23.1%)第 7 天还在。比率最低的是第一步,人数流失最多的也是第一步(380)。这只是线索,不是结论,因为一步修好值多少,取决于它在哪个位置。问一问:如果每一步都达到 80%、其他步不变,最终人数会是多少:
| 如果这一步达到 80% | 第 7 天人数 | 增量 |
|---|---|---|
| 创建了项目(62.0%) | 298 | +67 |
| 装好了代码(66.1%) | 280 | +49 |
| 发出第一个事件(80.5%) | 230 | 没有增量,已经高于 80% |
| 第 7 天回来(70.0%) | 264 | +33 |
每个数字都是 1,000 乘以四个比率,其中一个换成 0.80。第一步上限最大,+67 人,而且它也是原因最清楚、最该去查的一步。第 7 天那一步看上去诱人,因为 70% 是除前两步外最低的,但要提升它,得改变人们设置完之后在产品里看到的东西,几周内更难做到。
某一步提到 80% 时第 7 天多出的人数
示例数据,1,000 个注册怎么写假设并估算测试规模?
按证据、改动、指标、人群和结果来写:因为[数据显示什么],我们相信[改动]会推动[指标]对[人群],我们会在[结果]得知。
假设在第一步停下的人的回放里,他们盯着一个空白的项目表单发呆。假设可以这样写:因为 1,000 个注册里有 380 个从没创建项目,录像显示表单是空的,我们相信预填项目名和提供模板,会把新注册用户的创建项目率从 62% 提高到 72%,我们会在每个版本累计 343 个注册后得知结果。
样本量取决于你要多大的变化才值得上线,因为小变化需要很多人才测得出来。显著性 5%、检验效能 80% 时,标准的两比例计算给出:
| 从 62% 提高到的目标 | 提升 | 每个版本所需人数 | 每月 1,000 个注册需要几个月 |
|---|---|---|---|
| 72% | +10 个百分点 | 343 | 0.7 |
| 67% | +5 个百分点 | 1,434 | 2.9 |
把想检测的效果减半,所需人数会翻四倍还多。如果 +5 个百分点是值得上线的最小提升,而你最多只能等一个月,测试在这个时间里回答不了问题;这时带着护栏上线改动并观察趋势,或者瞄准更大的改动。
应该预期浪费多少次实验?
做好大多数不会赢的准备。如果像 Bing 团队报告的那样,大约三分之一的点子能推动指标,那么平均要三次实验才赢一次。这一步每次测试 0.7 个月,就是大约 2.1 个月赢一次。这个算术会改变你的计划方式:
- 每个差距排几个假设,而不是把一个季度押在一个上。
- 每个改动保持很小,这样一次落空只损失几周,而不是几个月。
- 干净的否定也算结果。 它告诉你原因不是你猜的那个,并且要记进日志。
不要把三分之一当作对你自己产品的预测;它来自一个有数百万用户、调校得很精细的搜索引擎。把它当作提醒:要给落空留预算,并在大约十次实验之后量一量自己的命中率。
怎么读功能采用率?
漏斗适合有顺序的路径;对于人们随意使用的功能,用采用率。功能采用率是周期内使用过该功能的活跃用户占比。
示例数据:一个月 2,000 个活跃用户,以及使用过每个功能的人和没用过的人的 28 天留存对比。
| 功能 | 用户数 | 采用率 | 留存:使用者 vs 未使用者 | 解读 |
|---|---|---|---|---|
| 仪表盘 | 1,240 | 62.0% | 61% vs 49% | 核心功能,用得广 |
| 漏斗 | 700 | 35.0% | 64% vs 49% | 提升不错,采用率还有空间 |
| 分群 | 360 | 18.0% | 70% vs 51% | 提升大、采用率低:发现问题 |
| 告警 | 180 | 9.0% | 72% vs 54% | 提升大、采用率低:发现问题 |
| 导出 | 140 | 7.0% | 55% vs 56% | 没有提升:别投入,或先问问谁需要 |
采用率低、留存差异大的功能,是典型的优化对象,因为找到它的人会留下来。读这个结果要小心:用的功能多的人,本来通常就更投入,所以这个差异是该去测试的信号,不是“功能导致留存”的证据。测试办法是:让随机一半新用户更容易找到这个功能,再把他们的留存和另一半对比。
| 功能 | 采用率 | 留存:使用者 vs 未使用者 | 解读 |
|---|---|---|---|
| 仪表盘 | 62.0% | 61% vs 49% | 核心功能 |
| 分群 | 18.0% | 70% vs 51% | 提升大、采用率低:发现问题 |
| 告警 | 9.0% | 72% vs 54% | 提升大、采用率低:发现问题 |
| 导出 | 7.0% | 55% vs 56% | 没有提升:暂时别投入 |
示例数据:2,000 个活跃用户;28 天留存。使用者和未使用者的差异是该去测试的信号,不是因果证据。
在 TapCub 里怎么跑这个循环?
还是上面的新手引导示例。TapCub 提供第 1、2、5 步的衡量。它不做实验、不分流,所以改动本身由你自己的发布流程上线或测试。
- 把路径定义成漏斗。 在 全端分析 › 行为分析 › 行为分析 建四个步骤,窗口最长 180 天(默认 7 天)。每一步显示人数、相对第一步和上一步的比率、流失和中位耗时,并标出最大流失。按来源或设备拆分,看差距是不是处处一样。
- 把激活设成真实动作。 在 全端分析 › 经营分析 › AARRR 增长 对应的经营设置里,把激活对应到“完成新手引导”或“用过一次核心功能”,而不是页面浏览,这样激活阶段才反映你的差距。
- 看采用率和留存。 用事件分析按去重人数或活跃占比画出每个功能事件,用留存报告看第 7 天或第 4 周的回访,还可以指定起始事件。
- 标记每次发布,盯住护栏。 在 配置 › 日期标注 里添加发布日期。给一个已保存的指标(比如客服相关事件)建监控,先试运行,护栏变差时就会收到通知。
- 保留日志。 TapCub 不保存你的假设,所以把决策日志放在团队的跟踪工具旁边,并记下和标注对应的日期。
FAQ
什么是产品优化?
产品优化是对现有产品持续改进,让更多用户获得价值并且回来。它遵循一个循环:选指标、找最大差距、写假设、做小改动、读结果,再决定下一步。
怎么用数据优化产品?
选一个指标和一个护栏,建漏斗或采用率图找到最弱的一步,估算修好每一步能多出多少人,再对最值得的那步测试一个小改动。用结果决定保留、修改还是放弃。
怎么选要优化的指标?
像 Google 的 HEART 框架建议的那样,从产品目标出发对应到信号和指标,然后保留行为数据能测的那几类:采用、留存和任务成功。这一轮只选一个主指标,并指定一个护栏。
产品实验有多少会赢?
通常不多。Bing 的一个团队报告说,他们测试的点子里,推动预期指标的不到三分之一。你的比率会不同,所以每个差距要排几个假设,并在大约十次实验之后量一量自己的命中率。
资料来源
- Kerry Rodden、Hilary Hutchinson 和 Xin Fu,Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications,CHI 2010——HEART 框架和“目标—信号—指标”流程。核对于 2026-11-21。
- Bing Blogs,Large Scale Experimentation at Bing(2013)——不到三分之一的点子能推动预期指标。核对于 2026-11-21。
- NIST/SEMATECH e-Handbook of Statistical Methods,7.3.3 两个过程的不合格品比例是否相同——样本量背后的两比例检验。核对于 2026-11-21。
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

