AI 引导,是把 AI 用在新用户卡住的那几步:回答设置问题、定制清单、协助导入。评价它用激活率和步骤转化率,而不是看 AI 多聪明。在下面的示例里,激活率从 32.0% 提高到 36.2%(95% 区间 +1.26 到 +7.14 个点),但前后对比的数字可能误导人,所以注意事项和留出组的设计,和提升本身一样重要。
读完你会知道
- 只把 AI 放在用户卡住并求助的地方,再用激活率和它本来要推动的那一步来评价
- 激活率从 32.0% 提高到 36.2%(p = 0.0051,区间 +1.26 到 +7.14 个点),但两批不同的人不等于实验
- 随机留出 10% 能一次排除流量构成、季节性和定义漂移;每期 2,000 个注册能检测 4.2 个点,检测不了 3 个点
什么是 AI 引导,AI 能在哪些地方帮到新用户?
AI 引导,是在从注册到用户第一次拿到真实结果的路径上,把 AI 用在具体的几步:回答设置问题、定制清单、协助导入数据。它在新用户卡住并求助的步骤上有用,在用户本来就不卡的步骤上没有任何价值。
这种克制很重要,因为引导本身就是用户的一种成本。Nielsen Norman Group 关于应用引导的研究说,它会增加交互成本和记忆负担,建议能不做就不做,并且要先测试:看看没有引导时用户是否吃力,吃力就先改进设计,只有当引导流程能带来可衡量的帮助时才保留(NN/g)。它也更推崇在情境中给出提示,而不是一上来就塞一个教程。当 AI 在用户有问题的那一刻回答他的问题时,就符合这种倾向。
| AI 步骤 | 做什么 | 在哪里有用 | 在哪里是浪费 |
|---|---|---|---|
| 设置助手 | 根据你的帮助资料回答“怎么连接 X?” | 提问率高的步骤 | 没人问的步骤 |
| 按角色定制的清单 | 根据用户自述的角色挑出接下来的 3 件事 | 有多种不同用法的产品 | 只有一个显而易见的最初动作的产品 |
| 数据导入助手 | 建议怎么映射列、怎么修正错误 | 有上传或连接的步骤 | 没有杂乱输入的任何地方 |
| 定时提醒 | 用户闲置时提示下一步 | 步骤长、下一步很明确的设置 | 步骤短的设置;只是在思考的用户 |
用户本来就能自己完成的步骤,加一层 AI 也得不到任何好处。先找出卡点,再决定把 AI 放在哪里。
评价一个引导流程,该衡量什么?
选一个结果指标和几个诊断指标,并在改动任何东西之前把定义定好。
| 指标 | 定义 | 为什么重要 |
|---|---|---|
| 激活率 | 7 天内达到激活事件的用户 ÷ 注册用户 | 这个流程要推动的结果 |
| 步骤转化率 | 完成第 N 步的用户 ÷ 完成第 N−1 步的用户 | 看出人们卡在哪里 |
| 激活用时 | 从注册到激活事件的天数中位数 | 见到价值的速度 |
| 每个注册的设置问题数 | 关于设置的聊天和工单 ÷ 注册数 | 看出是否需要帮助 |
| 辅助占比 | 无需人工回答的设置问题 ÷ 设置问题 | 看出 AI 步骤有没有在干活 |
选一个体现价值而非付出的激活事件。下面的例子里是“用真实数据查看了首份报表”,而不是“创建了账户”。其他标准引导指标的定义见引导指标,周边的流程见客户引导体系。
| 指标 | 定义 | 为什么重要 |
|---|---|---|
| 激活率 | 7 天内达到激活事件 ÷ 注册数 | 流程要推动的结果 |
| 步骤转化率 | 完成第 N 步 ÷ 完成第 N−1 步 | 看出人们卡在哪里 |
| 激活用时 | 从注册到激活的天数中位数 | 见到价值的速度 |
| 每个注册的设置问题数 | 设置相关的聊天和工单 ÷ 注册数 | 看出是否需要帮助 |
| 辅助占比 | 无需人工回答的设置问题 ÷ 设置问题 | 看出 AI 步骤有没有在干活 |
改动任何东西之前先定好定义;选一个体现价值而非付出的激活事件。
带有 AI 步骤的引导流程是什么样的?
以一个示例分析产品的 5 步路径为例。所有数字均为示例数据,已用 Python 复算。两批各 2,000 个注册用户:AI 设置助手上线前四周,和上线后四周。
| 步骤 | 之前:用户数 | 之前:步骤转化率 | 之后:用户数 | 之后:步骤转化率 |
|---|---|---|---|---|
| 1. 注册 | 2,000 | 2,000 | ||
| 2. 验证邮箱 | 1,700 | 85.0% | 1,712 | 85.6% |
| 3. 创建项目 | 1,030 | 60.6% | 1,180 | 68.9% |
| 4. 连接数据源 | 740 | 71.8% | 880 | 74.6% |
| 5. 查看首份报表(激活) | 640 | 86.5% | 724 | 82.3% |
加了两个 AI 步骤:聊天窗口里的设置助手,根据帮助资料回答“怎么安装?”和“为什么没有数据进来?”;以及邮箱验证后展示的按角色定制的清单。
从最大的卡点读这张表。改动之前,验证过邮箱的用户只有 60.6% 创建了项目:这一步丢了 670 个人。改动之后这一步转化率是 68.9%,提高 8.3 个点,是整个漏斗里改善最大的。第 4 步连接数据,从 71.8% 变成 74.6%。这与助手回答问题的位置吻合,说明它确实起了作用。
最后一步反而走低:86.5% 降到 82.3%。这不是失败。现在到达第 5 步的人更多,多出来的是更不容易完成的边缘用户,所以平均的步骤转化率下降,完成的人数却更多(724 对 640)。看步骤转化率一定要和人数一起看。
同样两个时期的其他示例指标:每个注册的设置问题数从 540 ÷ 2,000 = 0.27 降到 410 ÷ 2,000 = 0.205,410 个问题里有 290 个(70.7%)没有人工参与就得到了回答,激活用时中位数从 3.1 天降到 2.4 天。
从注册到激活,加了 AI 步骤之后
2,000 个注册,4 周注册
2,000
验证邮箱
1,712
创建项目
1,180
连接数据
880
激活
724
前后对比的效果怎么算?
激活率是已激活 ÷ 注册数:
- 之前:640 ÷ 2,000 = 32.0%
- 之后:724 ÷ 2,000 = 36.2%
- 差值:4.2 个百分点,相对提升 13.1%。
要判断这个差值是否大于随机波动,用两个比例的检验:
- 合并转化率 = (640 + 724) ÷ 4,000 = 34.1%。
- “没有差异”假设下的标准误 = √(0.341 × 0.659 × (1/2,000 + 1/2,000)) = 0.01499。
- z = 0.042 ÷ 0.01499 = 2.80,对应双侧 p 值 0.0051。
- 差值的 95% 区间,用非合并标准误 0.01498:0.042 ± 1.96 × 0.01498 = +1.26 到 +7.14 个点,即相对 +4.0% 到 +22.3%。
所以这个提升在统计上显著,可信范围从小到大都有。每批的规模也值得留意:每期 2,000 个注册,刚好够以 80% 的功效检测出 4.2 个点的变化(公式要求每组 1,999 个)。要检测 3 个点的变化(从 32% 到 35%),每组需要 3,884 个,所以这个设计没法可靠地检测出更小的改善。公式见 A/B 测试。
为什么前后对比的数字可能误导人?
两批不同的人,在两个不同的时期,中间有一处改动:这不是实验。任何其他变动都可能造成同样的差值。跑过成千上万个对照实验的研究者警告说,“任何看起来有趣或与众不同的数字,通常都是错的”,结果好得不真实时,要先去找错误,而不是庆祝(Kohavi 等,2014)。
把功劳记给 AI 步骤之前,逐项检查:
| 检查 | 对比什么 | 如果不同 |
|---|---|---|
| 流量来源构成 | 两个时期里每个渠道带来的注册占比 | 带来更多有强烈意愿用户的活动会抬高激活率 |
| 套餐或产品变化 | 两个时期的发版说明 | 更简单的注册表单会改变注册的人群 |
| 日历 | 每月相同的几周;节假日 | 季节性用户的激活表现不同 |
| 定义漂移 | 激活事件及其埋点 | 修了埋点本身就能让数字变化 |
| 样本比例 | 各时期注册数与预期对比 | 一侧数据缺失 |
更可靠的设计是留出组:把 AI 步骤展示给 90% 的新用户,随机留出 10% 不展示,然后在同一时期比较两组的激活率。这样一次性排除了表里的所有项。随机分配要由你自己的产品来做;之后的衡量,就是上面同样的两个比例检验。
哪些 AI 步骤该保留,哪些该砍掉?
对每个步骤,用它本来要推动的指标来决定。
| 结果 | 步骤转化率变化 | AI 回答的问题 | 决定 |
|---|---|---|---|
| 明显提升 | 上升,超过区间下限 | 很多 | 保留并扩展 |
| 在对的步骤提升,其他地方没有 | 只在 AI 回答的地方上升 | 很多 | 在有效的地方保留,其他地方去掉 |
| 没有变化 | 持平 | 很少 | 砍掉:NN/g 的建议是只有可衡量地有帮助才保留引导 |
| 激活率更高,第 7 天回访更低 | 先升后降 | 任意 | 保留之前先看看多出来的激活是些什么人 |
在例子里,设置助手和清单是一起加的,所以上面的表无法告诉你创建项目这一步的提升是哪一个带来的。要分开,就对一小撮随机用户关掉其中一个,或者错开几周分阶段上线,再比较步骤转化率。
在 TapCub 里怎么衡量 AI 引导?
TapCub 不做产品导览、应用内清单或引导消息,也不做留出组。步骤由你的产品展示,TapCub 负责衡量发生了什么。以例子来说:
- 识别用户。登录时调用
tapcub.login(),让每个用户出现在 全端分析 › 用户 › 用户,带有按天排列的时间线。把关键步骤作为事件发送:邮箱已验证、项目已创建、数据源已连接、首份报表已查看。 - 建立漏斗。在 全端分析 › 行为分析 › 行为分析 里添加这五步(最多允许 20 步),转化窗口设为 7 天。每一步显示人数、相对第一步的比率、相对上一步的比率、流失和用时中位数,最大的流失会被标出来。
- 比较两个时期。漏斗没有对比周期选项,所以上线前四周跑一次,上线后四周跑一次,把两张步骤表并排来看。用第一层的拆分(比如按来源)检查渠道构成有没有变化。
- 检查已激活用户的留存。在同一页面,用留存看后一时期激活的人,第 2 周回来的比例是否和以前一样。
- 盯住那些问题。在 客服 › 客服报表 里,解决率和知识库命中率显示有多少设置问题是由 AI 根据你的知识库回答的。TapCub 的 AI 只会根据知识库起草回复,不会改设置,也不会替用户完成设置。把让人卡住的问题作为精确匹配的问答加到 客服 › 知识库,并置顶,让访客不开启对话就能看到答案。
FAQ
什么是 AI 引导?
在注册到用户拿到第一个结果之间选定的步骤上使用 AI:回答设置问题、定制清单、协助导入,或提醒卡住的用户。只有在用户卡住的地方才值得做。
怎么衡量 AI 引导是否有效?
比较改动前后的激活率(7 天内激活 ÷ 注册数),给出置信区间,并检查流量构成和定义。对新用户做随机留出,结论更干净。
激活率多少算好?
取决于你的激活事件和受众,没有可靠的通用数字。和你自己的历史比较,盯住大多数用户卡住的那一步。这里的示例从 32.0% 提高到 36.2%。
AI 引导能替代人工客户成功团队吗?
不能。示例里 70.7% 的设置问题无需人工回答,29.3% 仍然需要人。AI 处理重复的问题,人处理特殊的设置和需要判断的事。
测试一个引导改动需要多少用户?
基线 32% 时,每组约 1,999 个用户能以 80% 功效检测出 4.2 个点的提升,3,884 个才能检测出 3 个点的提升。变化更小,需要的用户多得多。
资料来源
- Nielsen Norman Group. Mobile-App Onboarding: An Analysis of Components and Techniques. 2026-11-20 查阅。
- Kohavi, R., Deng, A., Longbotham, R., Xu, Y.(2014). Seven Rules of Thumb for Web Site Experimenters. KDD 2014(DOI 10.1145/2623330.2623341)。
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

