一句话回答
渐进式交付是把变更分阶段发给用户,比如 1%、5%、25% 和全量流量,只有实测的关卡(错误率、延迟、某个业务指标)保持健康才进入下一阶段,不达标就把流量切回旧版本。
什么是渐进式交付?
渐进式交付(progressive delivery)是分阶段把变更交给用户:先给一小部分流量,只有实测结果保持健康时才扩大范围。它把过去捆在一起的两件事分开了:把代码部署到线上,和把功能发布给用户。这个词由 RedMonk 分析师 James Governor 推广,他在 2018 年 8 月的文章里提出,功能开关、金丝雀发布这类流量路由技术值得在 CI/CD 之外有自己的名字。
实际做法是每个阶段设一道关卡:一个指标加一个阈值,新版本达标才能拿到更多流量;不达标就把流量切回旧版本。本页后面讲怎么划分阶段、怎么把关卡的样本量算到真的能发现问题,以及哪些能量、哪些量不了。
渐进式交付和相关做法的对照
| 做法 | 控制什么 | 谁能看到变更 | 典型回滚方式 |
|---|---|---|---|
| 一次性发布 | 全部一次上线 | 所有用户 | 重新部署旧版本 |
| 金丝雀发布 | 每个版本的流量占比 | 先是一小部分随机用户,再逐步增加 | 把流量路由回去 |
| 功能开关 | 哪些用户拿到某个功能 | 指定用户或按百分比 | 把开关关掉 |
| 蓝绿部署 | 哪一整套环境在线上 | 切换那一刻起是所有人 | 切回旧环境 |
| 测试计划(Beta) | 自愿加入 | 知道产品未完成的志愿者 | 结束测试计划 |
| 渐进式交付 | 带关卡的整套分阶段流程 | 按阶段逐步扩大 | 任何阶段都可自动或手动回滚 |
渐进式交付不是金丝雀和开关的竞争对手,它是用到它们的流程,加上决定「能不能继续」的测量规则。
分阶段发布:一份示例计划
示例数据:一个网络服务每天收到 400,000 次请求,稳定版本的错误率是 0.5%。团队接受的额外错误不超过 0.3 个百分点,所以关卡是金丝雀版本错误率不高于 0.8%。
| 阶段 | 新版本流量占比 | 该占比下每天的请求数 | 进入下一阶段的关卡 |
|---|---|---|---|
| 1 | 1% | 4,000 | 没有崩溃循环;错误率不高于 5% |
| 2 | 5% | 20,000 | 错误率 ≤ 0.8%,延迟在稳定版本的 10% 以内 |
| 3 | 25% | 100,000 | 同样的关卡,另外核心业务指标没有下降 |
| 4 | 50% | 200,000 | 同样的关卡 |
| 5 | 全部流量 | 400,000 | 继续观察 24 小时 |
开源控制器 Argo Rollouts 用 setWeight 步骤加中间的 pause 时长来表达这种计划,分析失败时中止发布。没有流量路由时,它用副本数近似百分比:10 个副本时,10% 这一步就是 1 个金丝雀副本加 9 个稳定副本。
每个阶段该持续多久?
关卡要有用,该阶段就得收集到足够的请求,才能发现你在意的问题。比较两个错误率(稳定版 0.5%,金丝雀变差时 0.8%),取双侧 5% 显著性水平、80% 检验功效,标准的两比例样本量公式给出每组约 11,263 次请求。把它当作粗略参考(它假设两组一样大;小金丝雀对大稳定组需要稍多一点):
| 阶段 | 占比 | 按每天 400,000 次请求,攒够 11,263 次金丝雀请求的时间 |
|---|---|---|
| 1 | 1%(4,000/天) | 2.8 天(67.6 小时) |
| 2 | 5%(20,000/天) | 0.56 天(13.5 小时) |
| 3 | 25%(100,000/天) | 0.11 天(2.7 小时) |
| 4 | 50%(200,000/天) | 0.06 天(1.4 小时) |
由此得到两个结论。其一,1% 这一阶段无法在合理时间内发现 0.3 个百分点的上升,所以别拿它做这件事:把它当成影响范围检查,只抓大故障。要发现错误率从 0.5% 跳到 5%,每组只需约 206 次请求,1% 的流量大约一个小时就够了。其二,坏版本的代价受阶段占比限制。Google 的 SRE 工作手册给了算式:5% 流量上 20% 的错误率,会让整体错误率上升约 1%(0.20 × 0.05 = 0.01)。
关卡该用什么指标
SRE 工作手册对金丝雀指标的建议是一份很好的检查清单:
- 先看用户感受得到的信号,比如失败请求和延迟,而不是 CPU。
- 清单要短,「最多十几个」。
- 排除 400 系列 HTTP 状态码,它们多半反映用户操作错误,而不是缺陷。
- 监控要按金丝雀和对照组拆开;全服务的平均值会掩盖金丝雀的错误。
- 一次只跑一个金丝雀,这样才知道是哪次变更让指标动了。
- 指标的统计间隔不要超过金丝雀的持续时间。
在技术关卡之外再加一道业务关卡:对网站或 App 的变更,用一个核心的转化率或激活率,在同一阶段对比新旧版本。
渐进式交付不够用的情况
- 罕见问题。 影响万分之一请求的缺陷,在 4,000 次请求的阶段里不会出现。
- 缓慢出现的问题。 内存泄漏、计费错误和留存下滑要几小时甚至几周才显现,最后一个阶段要继续盯着。
- 共享状态。 数据库结构变更不一定能靠切流量回滚,要先做成向后兼容。
- 两组大小不等。上面的样本量假设金丝雀组和稳定组一样大。1% 的金丝雀对 99% 的稳定组,要达到同样的检验功效需要更多的金丝雀请求,所以把那张表当作下限。
- 流量太小。 每天只有 4,000 次请求时,连全量阶段的数据都很薄。阶段少一点,停留久一点。
发布过程中 TapCub 能测什么
设想一次手机 App 更新,先发给 5% 的用户。TapCub 不分流量,也不做功能开关,所以发布本身在别处完成(应用商店的分阶段发布、开关服务或你的部署工具),TapCub 只衡量每个版本的表现。
- 对比版本。 应用统计 › 用户分析 › 版本分布列出每个版本的活跃用户占比和崩溃数。选中新版本,页面就筛到这个版本。
- 对比稳定性。 应用统计 › 质量与归因 › 稳定性显示无崩溃占比(1 − 崩溃用户 ÷ 活跃用户);按新版本筛选,再和上一版对照着看。
- 看网站错误。 监测 › 错误把错误分组,显示次数、受影响会话和最后出现时间,部署之后新冒出的错误组很显眼。
- 设置告警。 在 全端分析 › 智能运营 › 监控对
error_rate建一个监控,阈值设成 0.8% 之类。试运行会告诉你过去 30 天会触发几次。监控只负责通知,不会替你回滚任何东西。 - 标注每个阶段。 在 配置 › 日期标注为每个阶段添加备注(1%、5%、25%……),这样每张图上都能看到发布的步骤在哪里。
资料来源
- RedMonk,James Governor,Towards Progressive Delivery(2018 年 8 月 6 日)。
- Google,Site Reliability Engineering Workbook:Canarying Releases。
- Argo Rollouts 文档,Canary strategy。
- NIST/SEMATECH 统计方法电子手册,7.3.3 两比例检验(样本量所用两比例比较的背景)。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
