TapCub 正式上线:统计、分析、客服一个平台免费用
产品动态

AI 引导:带 AI 步骤的流程示例,以及改动前后的激活率

AI 引导把 AI 放在新用户卡住的步骤上。一个五步流程、评价它的激活指标,以及带置信区间和注意事项的前后对比算例。

陈屿 发布于 2026 年 11 月 20 日 9 分钟阅读 产品动态
示例数据:加了设置助手和按角色定制的清单后,创建项目从 60.6% 提高到 68.9%,激活率从 32.0% 提高到 36.2%。示例数据

AI 引导,是把 AI 用在新用户卡住的那几步:回答设置问题、定制清单、协助导入。评价它用激活率和步骤转化率,而不是看 AI 多聪明。在下面的示例里,激活率从 32.0% 提高到 36.2%(95% 区间 +1.26 到 +7.14 个点),但前后对比的数字可能误导人,所以注意事项和留出组的设计,和提升本身一样重要。

读完你会知道

  • 只把 AI 放在用户卡住并求助的地方,再用激活率和它本来要推动的那一步来评价
  • 激活率从 32.0% 提高到 36.2%(p = 0.0051,区间 +1.26 到 +7.14 个点),但两批不同的人不等于实验
  • 随机留出 10% 能一次排除流量构成、季节性和定义漂移;每期 2,000 个注册能检测 4.2 个点,检测不了 3 个点

什么是 AI 引导,AI 能在哪些地方帮到新用户?

AI 引导,是在从注册到用户第一次拿到真实结果的路径上,把 AI 用在具体的几步:回答设置问题、定制清单、协助导入数据。它在新用户卡住并求助的步骤上有用,在用户本来就不卡的步骤上没有任何价值。

这种克制很重要,因为引导本身就是用户的一种成本。Nielsen Norman Group 关于应用引导的研究说,它会增加交互成本和记忆负担,建议能不做就不做,并且要先测试:看看没有引导时用户是否吃力,吃力就先改进设计,只有当引导流程能带来可衡量的帮助时才保留(NN/g)。它也更推崇在情境中给出提示,而不是一上来就塞一个教程。当 AI 在用户有问题的那一刻回答他的问题时,就符合这种倾向。

AI 步骤做什么在哪里有用在哪里是浪费
设置助手根据你的帮助资料回答“怎么连接 X?”提问率高的步骤没人问的步骤
按角色定制的清单根据用户自述的角色挑出接下来的 3 件事有多种不同用法的产品只有一个显而易见的最初动作的产品
数据导入助手建议怎么映射列、怎么修正错误有上传或连接的步骤没有杂乱输入的任何地方
定时提醒用户闲置时提示下一步步骤长、下一步很明确的设置步骤短的设置;只是在思考的用户

用户本来就能自己完成的步骤,加一层 AI 也得不到任何好处。先找出卡点,再决定把 AI 放在哪里。

评价一个引导流程,该衡量什么?

选一个结果指标和几个诊断指标,并在改动任何东西之前把定义定好。

指标定义为什么重要
激活率7 天内达到激活事件的用户 ÷ 注册用户这个流程要推动的结果
步骤转化率完成第 N 步的用户 ÷ 完成第 N−1 步的用户看出人们卡在哪里
激活用时从注册到激活事件的天数中位数见到价值的速度
每个注册的设置问题数关于设置的聊天和工单 ÷ 注册数看出是否需要帮助
辅助占比无需人工回答的设置问题 ÷ 设置问题看出 AI 步骤有没有在干活

选一个体现价值而非付出的激活事件。下面的例子里是“用真实数据查看了首份报表”,而不是“创建了账户”。其他标准引导指标的定义见引导指标,周边的流程见客户引导体系。

指标定义为什么重要
激活率7 天内达到激活事件 ÷ 注册数流程要推动的结果
步骤转化率完成第 N 步 ÷ 完成第 N−1 步看出人们卡在哪里
激活用时从注册到激活的天数中位数见到价值的速度
每个注册的设置问题数设置相关的聊天和工单 ÷ 注册数看出是否需要帮助
辅助占比无需人工回答的设置问题 ÷ 设置问题看出 AI 步骤有没有在干活

改动任何东西之前先定好定义;选一个体现价值而非付出的激活事件。

带有 AI 步骤的引导流程是什么样的?

以一个示例分析产品的 5 步路径为例。所有数字均为示例数据,已用 Python 复算。两批各 2,000 个注册用户:AI 设置助手上线前四周,和上线后四周。

步骤之前:用户数之前:步骤转化率之后:用户数之后:步骤转化率
1. 注册2,0002,000
2. 验证邮箱1,70085.0%1,71285.6%
3. 创建项目1,03060.6%1,18068.9%
4. 连接数据源74071.8%88074.6%
5. 查看首份报表(激活)64086.5%72482.3%

加了两个 AI 步骤:聊天窗口里的设置助手,根据帮助资料回答“怎么安装?”和“为什么没有数据进来?”;以及邮箱验证后展示的按角色定制的清单。

从最大的卡点读这张表。改动之前,验证过邮箱的用户只有 60.6% 创建了项目:这一步丢了 670 个人。改动之后这一步转化率是 68.9%,提高 8.3 个点,是整个漏斗里改善最大的。第 4 步连接数据,从 71.8% 变成 74.6%。这与助手回答问题的位置吻合,说明它确实起了作用。

最后一步反而走低:86.5% 降到 82.3%。这不是失败。现在到达第 5 步的人更多,多出来的是更不容易完成的边缘用户,所以平均的步骤转化率下降,完成的人数却更多(724 对 640)。看步骤转化率一定要和人数一起看。

同样两个时期的其他示例指标:每个注册的设置问题数从 540 ÷ 2,000 = 0.27 降到 410 ÷ 2,000 = 0.205,410 个问题里有 290 个(70.7%)没有人工参与就得到了回答,激活用时中位数从 3.1 天降到 2.4 天。

app.tapcub.com

从注册到激活,加了 AI 步骤之后

2,000 个注册,4 周

注册

2,000

验证邮箱

1,712

创建项目

1,180

连接数据

880

激活

724

加 AI 步骤之前,2,000 人里有 640 人激活(32.0%);创建项目是最大的卡点,转化率 60.6%。
示例数据
示例数据:加了设置助手和按角色定制的清单后,创建项目从 60.6% 提高到 68.9%,激活率从 32.0% 提高到 36.2%。

前后对比的效果怎么算?

激活率是已激活 ÷ 注册数:

  • 之前:640 ÷ 2,000 = 32.0%
  • 之后:724 ÷ 2,000 = 36.2%
  • 差值:4.2 个百分点,相对提升 13.1%。

要判断这个差值是否大于随机波动,用两个比例的检验:

  1. 合并转化率 = (640 + 724) ÷ 4,000 = 34.1%。
  2. “没有差异”假设下的标准误 = √(0.341 × 0.659 × (1/2,000 + 1/2,000)) = 0.01499。
  3. z = 0.042 ÷ 0.01499 = 2.80,对应双侧 p 值 0.0051。
  4. 差值的 95% 区间,用非合并标准误 0.01498:0.042 ± 1.96 × 0.01498 = +1.26 到 +7.14 个点,即相对 +4.0% 到 +22.3%。

所以这个提升在统计上显著,可信范围从小到大都有。每批的规模也值得留意:每期 2,000 个注册,刚好够以 80% 的功效检测出 4.2 个点的变化(公式要求每组 1,999 个)。要检测 3 个点的变化(从 32% 到 35%),每组需要 3,884 个,所以这个设计没法可靠地检测出更小的改善。公式见 A/B 测试。

为什么前后对比的数字可能误导人?

两批不同的人,在两个不同的时期,中间有一处改动:这不是实验。任何其他变动都可能造成同样的差值。跑过成千上万个对照实验的研究者警告说,“任何看起来有趣或与众不同的数字,通常都是错的”,结果好得不真实时,要先去找错误,而不是庆祝(Kohavi 等,2014)。

把功劳记给 AI 步骤之前,逐项检查:

检查对比什么如果不同
流量来源构成两个时期里每个渠道带来的注册占比带来更多有强烈意愿用户的活动会抬高激活率
套餐或产品变化两个时期的发版说明更简单的注册表单会改变注册的人群
日历每月相同的几周;节假日季节性用户的激活表现不同
定义漂移激活事件及其埋点修了埋点本身就能让数字变化
样本比例各时期注册数与预期对比一侧数据缺失

更可靠的设计是留出组:把 AI 步骤展示给 90% 的新用户,随机留出 10% 不展示,然后在同一时期比较两组的激活率。这样一次性排除了表里的所有项。随机分配要由你自己的产品来做;之后的衡量,就是上面同样的两个比例检验。

哪些 AI 步骤该保留,哪些该砍掉?

对每个步骤,用它本来要推动的指标来决定。

结果步骤转化率变化AI 回答的问题决定
明显提升上升,超过区间下限很多保留并扩展
在对的步骤提升,其他地方没有只在 AI 回答的地方上升很多在有效的地方保留,其他地方去掉
没有变化持平很少砍掉:NN/g 的建议是只有可衡量地有帮助才保留引导
激活率更高,第 7 天回访更低先升后降任意保留之前先看看多出来的激活是些什么人

在例子里,设置助手和清单是一起加的,所以上面的表无法告诉你创建项目这一步的提升是哪一个带来的。要分开,就对一小撮随机用户关掉其中一个,或者错开几周分阶段上线,再比较步骤转化率。

在 TapCub 里怎么衡量 AI 引导?

TapCub 不做产品导览、应用内清单或引导消息,也不做留出组。步骤由你的产品展示,TapCub 负责衡量发生了什么。以例子来说:

  1. 识别用户。登录时调用 tapcub.login(),让每个用户出现在 全端分析 › 用户 › 用户,带有按天排列的时间线。把关键步骤作为事件发送:邮箱已验证、项目已创建、数据源已连接、首份报表已查看。
  2. 建立漏斗。在 全端分析 › 行为分析 › 行为分析 里添加这五步(最多允许 20 步),转化窗口设为 7 天。每一步显示人数、相对第一步的比率、相对上一步的比率、流失和用时中位数,最大的流失会被标出来。
  3. 比较两个时期。漏斗没有对比周期选项,所以上线前四周跑一次,上线后四周跑一次,把两张步骤表并排来看。用第一层的拆分(比如按来源)检查渠道构成有没有变化。
  4. 检查已激活用户的留存。在同一页面,用留存看后一时期激活的人,第 2 周回来的比例是否和以前一样。
  5. 盯住那些问题。在 客服 › 客服报表 里,解决率和知识库命中率显示有多少设置问题是由 AI 根据你的知识库回答的。TapCub 的 AI 只会根据知识库起草回复,不会改设置,也不会替用户完成设置。把让人卡住的问题作为精确匹配的问答加到 客服 › 知识库,并置顶,让访客不开启对话就能看到答案。

FAQ

什么是 AI 引导?

在注册到用户拿到第一个结果之间选定的步骤上使用 AI:回答设置问题、定制清单、协助导入,或提醒卡住的用户。只有在用户卡住的地方才值得做。

怎么衡量 AI 引导是否有效?

比较改动前后的激活率(7 天内激活 ÷ 注册数),给出置信区间,并检查流量构成和定义。对新用户做随机留出,结论更干净。

激活率多少算好?

取决于你的激活事件和受众,没有可靠的通用数字。和你自己的历史比较,盯住大多数用户卡住的那一步。这里的示例从 32.0% 提高到 36.2%。

AI 引导能替代人工客户成功团队吗?

不能。示例里 70.7% 的设置问题无需人工回答,29.3% 仍然需要人。AI 处理重复的问题,人处理特殊的设置和需要判断的事。

测试一个引导改动需要多少用户?

基线 32% 时,每组约 1,999 个用户能以 80% 功效检测出 4.2 个点的提升,3,884 个才能检测出 3 个点的提升。变化更小,需要的用户多得多。

资料来源

归档:产品动态

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

陈屿

技术工程师

专注统计代码、SDK 与接口集成文档,从接入验证到问题排查,帮助开发者更顺畅地完成实施。

一步一步衡量激活

用 7 天窗口建漏斗,按来源拆分,并在客服报表里看 AI 回答的设置问题落在哪里。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie