一句话回答
新奇效应指用户因为「东西是新的」而暂时改变行为:好奇驱使的试用让早期指标虚高(改版绊住老用户时则虚低),随后向稳态衰减。判断上线效果要按每个用户初次接触之后的天数来看,而不是看开头几天。
公式: 新鲜感溢价(t) = 老用户使用率(t) − 新用户使用率(t);稳态 ≈ 平稳的新用户使用率。溢价向 0 衰减 = 新鲜感在消退。
什么是新奇效应?
在产品分析里,新奇效应指用户因为「东西是新的」而暂时改变行为:新功能上线,大家出于好奇点进去试一试,使用量在一段时间里高于它的长期水平,等新鲜感过去才回落。新功能上线头几天的数据常常偏高(或偏低),因为用户在「试新鲜」;判断效果要等新鲜感过去,按用户首次接触之后的天数来看。偏低的情况也存在:用户被陌生界面绊住时,指标会先低于真实水平。这个规律在线上对照实验里有充分记录:微软团队总结指标解读常见陷阱的论文里,一个引导提示功能的提升只出现在用户初次看到它的那次访问中,之后的每次访问都没有统计上显著的变化。
这个词来自心理学:新奇的刺激更容易吸引注意、也更容易被记住。到了产品分析里,它的含义更窄也更实际:上线之后指标立刻显示的数值,和「上线不再是新闻」之后指标显示的数值,两者之间的落差。它的镜像是首因效应(primacy effect):老用户不适应改过的界面,指标先低于真实水平,等用户重新学会之后才回升。两种效应都让上线头几天的数字偏离稳态,方向正好相反。
怎么分辨新鲜感和真实采用?
有三个检查能把「一时好奇」和「持续采用」分开,而且都不靠盯着曲线开头那几个点:
- 把时间轴换成「接触后天数」,不用日历日期。按日历画的曲线,把昨天才看到功能的人和三周前就看到的人混在一起。把每个用户的行为对齐到他自己的第 0 天(初次使用或初次曝光)再看:新奇效应表现为一条逐渐衰减、然后走平的曲线;真实采用则从一开始就平,或者稳定在高于上线前基线的位置。微软那篇陷阱论文给的建议正是这个:按实验天数或用户访问次数分段看效应,别只看汇总值。
- 把新用户和老用户分开。上线之后才注册的用户没见过旧产品,对他们来说没有新鲜感可消退,也没有旧习惯要改。如果上线周的抬升只出现在老用户身上,新用户前后表现一样,那就是新奇效应,不是产品变好了;如果两群人最后停在同一个更高的水平上,这个改变才是真的。
- 看重复使用,不看初次点击。好奇心带来初次点击,价值带来第二次、第三次、第十次使用。跟踪初次使用者在第 2 周及以后还回来的比例——道理和看整个产品的留存曲线一样,只是这次看的是这个功能。
诊断之前还有一个提醒:短窗口本身很吵。微软团队指出,短实验里很多看似新奇或首因的趋势,其实是累计图的统计假象——开头那几段数据量太少。要在分母足够的按天比率上确认衰减,不要在一条抖动的累计线上确认。
能复算的算例:新功能上线后的 14 天
示例数据:某 SaaS 产品在 2026 年 10 月 5 日(周一)上线「保存的视图」功能。平均每天有 1,000 名活跃用户:800 名老用户(上线前就活跃)和 200 名新用户(当天初次出现)。逐日记录上线后每一组里至少用过一次该功能的人数。
| 上线后天数 | 老用户使用人数(共 800) | 使用率 | 新用户使用人数(共 200) | 使用率 | 全部活跃用户 | 使用率 |
|---|---|---|---|---|---|---|
| 第 1–7 天(第 1 周) | 240 | 240 ÷ 800 = 30% | 24 | 24 ÷ 200 = 12% | 264 | 264 ÷ 1,000 = 26.4% |
| 第 8–14 天(第 2 周) | 120 | 120 ÷ 800 = 15% | 24 | 24 ÷ 200 = 12% | 144 | 144 ÷ 1,000 = 14.4% |
把三列放在一起读:
- 汇总数字骗了你两次。第 1 周的 26.4% 看起来大获成功,第 2 周的 14.4% 看起来崩了——两个都不是功能的稳态值,因为汇总把一条正在衰减的老用户曲线和一条平稳的新用户曲线拌在了一起。
- 新用户就是对照组。他们两周都是 12%——对他们来说这个功能从来就不新。这 12% 是观察数据里对稳态使用率的理想估计。
- 新鲜感溢价就是超出的部分。老用户第 1 周比稳态高 30% − 12% = 18 个百分点,第 2 周只高 15% − 12% = 3 个百分点。从 18 降到 3,就是新鲜感消退的过程,而且节奏看得见。
如果只看第 1 周就下结论(26.4% 对稳态 12%),你会把采用程度高估一倍多:26.4 ÷ 12 = 2.2 倍。两周之后,诚实的结论是「新用户稳态使用率 12%,老用户还在收敛」——一个表现平平的功能,不是爆款。
观察期要定多长?
没有放之四海皆准的天数;观察期必须长过衰减期。上线之前就能用的几条规则:
- 至少覆盖两个完整的周循环。工作日和周末的行为不同,要按整周来量——日频产品至少 14 天,周频产品更长。
- 延长到曲线走平为止。沿用上面的算例:超出稳态的部分从第 1 周到第 2 周由 18 降到 3 个百分点。要连续两周老用户使用率都落在新用户比率预设的带宽内(比如 ±2 个百分点),才能宣布稳定,而不是看到某一周「安静了点」就算。
- 观察期跟着决策走。只跑三天的促销活动,本来就该产生三天的脉冲——那个尖峰是活动生效,不是偏差;要用好几年的导航改版,不能拿 24 小时的数据下判断。
- 不要事后把初周删掉。上线周的行为是真实的使用、也是真实的成本。有需要就单独列出来;为了让均值好看而事后剔除,是团队骗自己的惯用手法。
- 确认窗口后段的样本还够大。越晚的群组人越少,30 个人算出来的「走平」说明不了什么。开始前先对照最小可检测效应把窗口和样本量一起定好。
常见误区
- 拿累计总量下判断。累计使用量只涨不跌,会把衰减藏起来。要看按天或按群组周的比率。
- 拿上线周和上一周比,却没有对照。节假日、市场投放、流量结构变化会同时推动两周的数字。没有同期对照,差异根本不能归给这个功能。
- 把所有早期尖峰都叫「新奇」。有的尖峰是活动流量,有的是埋点重复上报的 bug。先核对数据和流量来源,再找心理学解释。
- 忽略首因方向。改版第 1 周下跌,可能随用户重新学习而回升;第 3 天就砍掉它,毁掉的是一个好改动。同一张「接触后天数」视图能同时抓住两个方向。
- 把注意当价值。点击量能很好地度量好奇,很难度量有用。盯一个完成率或重复使用类指标,尖峰期间同时盯住护栏指标——错误率、客服压力、退订。
- 让尖峰自己给自己辩护。盼着上线成功,就会倾向把开头那张图往好处读;这是穿着新奇效应外衣的实验者偏差。观察期和稳定判据要在上线前定好。
在 TapCub 里看新奇效应
上面那个场景——「保存的视图」10 月 5 日上线,第 1 周使用率 26.4%、第 2 周 14.4%——在 TapCub 里可以完整重建。先把边界说清楚:TapCub 不做 A/B 实验,也不做流量分配。下面全部是观察性分析:你可以像算例那样把新鲜感和稳态采用分开,但没有随机对照,无法把功能的因果效应和上线同期发生的其他变化完全隔离。
- 标出上线日期。在配置 › 日期标注里给 10 月 5 日加一条标注,之后每张图都能看到功能是哪天发的。少了这一步,下个季度的分析师会把尖峰当成一次流量事件。
- 重建按天衰减曲线。在全端分析 › 行为分析 › 事件分析里,把该功能的使用事件按天画出来,取标注之后的 14 天。这就是算例两行数字背后的原始曲线——确认第 2 周是真的更低,而不是视觉上安静了。
- 把新老用户分成两个分群。在全端分析 › 用户 › 分群与标签里,按初次出现日期建规则分群(10 月 5 日当天及以后初次出现 =「新用户」),再建一个上线前就活跃的用户分群。分群一处定义、到处可用,能作为群组带进其他分析,同一套划分哪里都能用。
- 按初次使用看留存,不按日历周。在全端分析 › 行为分析 › 行为分析里,把该功能的使用事件设为起始事件跑留存,按每个人自己第一次使用对齐,两个分群各跑一次。新用户群组的曲线近似稳态(那条 12% 的线);老用户群组向它衰减,说明落差就是新鲜感。要看产品整体,同一页的生命周期分析按周给出新增 / 留存 / 回流 / 流失四类人数,可以看出上线那一周是拉回了回流用户,还是只让本来就活跃的人多用了一下。
- 用第 2 周的数字做决定。汇报时给新用户群组的稳态采用率,注明老用户还在收敛,而不是宣布第 1 周的 26.4%。如果决策需要因果确定性——「提升到底是不是这个功能带来的?」——去专门的实验工具里跑实验;TapCub 负责衡量发生了什么,不负责分配变体。尖峰过后什么样的采用才算持续,见功能采用。
资料来源
- Dmitriev、Gupta、Kim、Vaz(微软),A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments,KDD 2017——第 5.10 节的引导提示案例与按天分段方法。2026-11-15 核对。
- Larsen、Stallrich、Sengupta、Deng、Kohavi、Stevens,Statistical Challenges in Online Controlled Experiments: A Review of A/B Testing Methodology,arXiv:2212.11366——新奇效应与首因效应的定义。2026-11-15 核对。
- Sadeghi、Gupta、Gramatovici、Lu、Ai、Zhang,Novelty and Primacy: A Long-Term Estimator for Online Experiments,arXiv:2102.12893(2022 年发表于 Technometrics)——用户学习导致处理效应随时间漂移。2026-11-15 核对。
- 维基百科,Novelty effect——术语的心理学来源。2026-11-15 核对。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
