数据迁移项目的成败,取决于搬运前的盘点和搬运后的对账,而不是复制本身。按五个阶段来规划(盘点、设计、试迁移、切换、对账),每个阶段都以一个能复算的数字收尾,只要还有任何差异解释不了,就不切换。
读完你会知道
- 迁移前盘点,迁移后对账:复制数据是最容易的部分,你如果从没数过自己有什么,就证明不了什么到了新系统
- 每个差异都要逐行解释:示例里缺失的 1,388 行,分成 1,102 个无效时间戳和 286 个重复,所以未解释的差异 = 0
- 切换之前写好回滚条件,比如被拒收的行超过数据的 0.5%(1,248,300 行对应 6,241 行),或者出现任何未解释的差异
数据迁移项目是什么,不是什么
数据迁移项目,是把数据从旧系统搬到新系统。它不只是复制:你要选择数据、准备数据、提取、转换、加载、检查,最后让旧系统退役。最后这一步,是迁移和集成的区别。迁移是一次性的项目,以源系统退役收尾;集成是两个都保持运行的系统之间持续的数据流。
项目分四种,种类决定要预期多少转换工作:
- 存储迁移:在物理介质之间搬数据,通常不改变格式。
- 数据库迁移:更换数据库供应商或升级,数据可能需要重新整形。
- 应用迁移:替换 CRM 或统计工具这类应用,通常需要大量转换。
- 业务流程迁移:因为业务变了而搬数据,比如并购之后。它最难,因为会影响人们的工作方式。
本文是一套适合这四种的通用方法。如果你的具体项目是从 Google Analytics 4 换到别的工具,GA4 迁移清单讲了这种情形的细节。
它的核心观点很简单:迁移成败,看的是迁移前的盘点和迁移后的对账,而不是搬运本身。 复制数据是最容易的部分。出问题的项目,都是从没数过自己有什么、所以证明不了什么到了新系统的。下面每个阶段都以一个可以复算的数字收尾,每个关口的规则都一样:数字对不上、又解释不了差异,就不切换。
五个阶段一览
同样的工作,不同的资料分成三步、七步或八步,取决于切得多细。五个阶段足够用来做计划,每个阶段都有一个关口,必须通过才能开始下一个。下表给出每个阶段回答的问题、产出和关口。
注意五个阶段里有两个,盘点和对账,完全没有数据搬运。风险主要就是在这两个阶段里消除的。盘点时该找哪些数据质量问题,见数据质量;如果新系统还要接收一路数据流,各部分怎么配合,见数据管道。
| 阶段 | 回答什么问题 | 产出 | 要通过的关口 |
|---|---|---|---|
| 1. 盘点 | 我们有什么、谁在用、哪些不迁移? | 一张表:每个数据集的负责人、基线行数、关键字段和保留或舍弃的决定 | 每个数据集都有基线和决定 |
| 2. 设计 | 每个字段怎么映射、什么被拒收、什么时候停下来? | 映射、拒收规则、容差和回滚条件 | 已书面约定 |
| 3. 试迁移 | 这套流程在接近生产的数据上行得通吗? | 两次试运行,每次都有一份对账报告 | 第二次试迁移:未解释的差异为 0;关键报表一致 |
| 4. 切换 | 能安全地切换吗? | 最终加载、对账、切换 | 24 小时内没有触发任何回滚条件 |
| 5. 对账 | 所有数据都到了吗,是否仍然一致? | 最终报告和旧系统的退役日期 | 两周没有任何差异 |
资料里同样的工作被分成三步、七步或八步;关键是每个阶段后面都有一个关口。
阶段 1:盘点
决定搬什么之前,先写下现有什么。对旧系统里的每张表、每个文件或每份报表,记录:
- 名称和负责人。 谁能回答关于它的问题。
- 行数和大小,带时间戳。 这是你的基线。把日期和时间写在旁边,因为源数据一直在变。
- 关键字段。 让一条记录唯一的标识符,以及把它放到时间线上的日期字段。
- 质量问题。 重复、必填字段里的空值、不可能的日期。现在就数,不要等搬完再数。
- 使用方。 哪些报表、看板或人依赖它。如果没人依赖某张表,就问问到底要不要搬。
- 敏感性和保留期。 它是否含个人数据,你被允许保存多久。迁移是删除你不该持有的数据的好时机。
产出是一张表,每个数据集一行。在这里决定哪些不迁移,以及原因。只搬在用的数据,会让后面每个阶段都变小。
阶段 2:设计怎么搬
设计回答「怎么搬」,应该在任何数据移动之前,在纸面上定下三件事:
- 映射。 每个字段在新系统里放在哪里,途中有什么变化,比如日期格式、单位、货币和状态码。
- 拒收规则。 无法加载的记录怎么办,比如时间戳不是日期。被拒收的行连同原因进入一个文件,而不是凭空消失,这样每一条缺失的记录事后都能解释。
- 容差和回滚条件。 会让切换停下来的数字,事先约定好。样例见切换那一节。
然后选一种切换策略。Google Cloud 的迁移指南说,要尽早选定可以接受的停机时间,因为接近零停机比带一个停机窗口要费力得多。
| 策略 | 怎么做 | 适合什么时候 | 主要风险 |
|---|---|---|---|
| 一次性切换 | 停掉旧系统,加载全部数据,启动新系统 | 数据量小,可以接受短时间停机 | 只有一次机会;出问题很难恢复 |
| 分阶段 | 一次迁移一个数据集或一组用户 | 数据能干净地拆成互相独立的部分 | 两个系统必须并存;各部分之间的联系可能断掉 |
| 并行运行 | 新旧系统并行运行并对比 | 你需要证明新系统给出同样的答案 | 工作量翻倍;可能误把数据同时写进两个系统 |
常见的陷阱是客户端同时往两个系统写,这会让两边以很难修复的方式分叉。要决定每一时刻由哪个系统接收写入,并让这条规则人人看得到。
阶段 3:试迁移
试迁移是在生产数据的副本上跑完整个流程,目的是尽早失败。至少计划两轮。第一轮找出映射和拒收规则里的问题,第二轮证明你的修复有效。Google Cloud 的指南建议,用加载了接近生产的数据的测试实例,并在上线前反复测试。
每一轮之后,用下一节的检查项生成一份对账报告。示例数据:一个 1,248,300 行的数据集,第一次试迁移加载了 1,246,912 行,拒收 1,388 行,其中 1,102 行因为时间戳无效,286 行因为主键重复。核对算术:1,248,300 − 1,102 − 286 = 1,246,912。被拒收的行是 1,388 ÷ 1,248,300 = 0.11%。每一条缺失的行都有原因,但 0.11% 仍然需要在切换之前定一条修复规则:要么修正时间戳,要么约定丢弃它们可以接受。
还要测试人们怎么用这些数据,而不只是数据本身。把大家最常打开的五份报表在两个系统里各跑一遍,比较结果。Google Cloud 的指南说,测试应该覆盖客户端依赖的业务逻辑,而不只是数据。
对账检查项
对账证明什么到了新系统。每次试迁移之后和切换之后,在新旧两边跑同一组检查,并排放在一起:
- 每个数据集的行数。 最简单的检查,也是最常被当作仅有检查的。
- 不同主键数。 唯一标识符的个数,比如客户或订单。它能抓住行数掩盖的重复。
- 合计。 任何带有价值的字段之和,比如金额、数量或时长。
- 日期范围。 最早和最晚的日期。它能抓住时区偏移和被截断的加载。
- 空值率。 关键字段里空值所占的比例。
- 抽样对比。 随机挑 50 条记录,逐字段肉眼对比。
让这套办法起作用的规则是:每一个差异都必须逐行解释,未解释的差异必须为零。 差异小,不等于可以接受。在示例报告里,行数相差 −1,388,解释是 1,102 个无效时间戳加 286 个重复主键。金额合计相差 −5,552.25,正好等于被拒收行上的金额(4,100.00 + 1,452.25)。不同客户数相差 −29,等于那些所有行都被拒收的客户(86,420 − 86,391 = 29)。所有的数都对得上,所以未解释的差异是 0,关口通过。
反过来,如果金额合计同样相差 −5,552.25,却没有被拒收的行能解释它,这个数就是未解释的,答案是停下来。当你在途中做过过滤或转换时,直接比较源和目标并不总是可靠,所以你要比较的是你能解释的合计,而不是只看是否相等。
试迁移 1 · 对账报告
示例数据| 检查项 | 旧系统 | 新系统 | 差异 | 解释 |
|---|---|---|---|---|
| 行数 | 1,248,300 | 1,246,912 | −1,388 | 1,102 个无效时间戳 + 286 个重复 |
| 金额合计 | 2,914,806.40 | 2,909,254.15 | −5,552.25 | 被拒收的 1,388 行上的金额 |
| 不同客户数 | 86,420 | 86,391 | −29 | 所有行都被拒收的客户 |
| 最早到最晚日期 | 2019-03-04 到 2026-10-31 | 2019-03-04 到 2026-10-31 | 无 | 不适用 |
| 未解释的差异 | 0 | 关口通过 |
每个差异都有逐行的解释,所以未解释的差异是 0。那 1,102 个无效时间戳在切换之前仍需要一条修复规则。
切换和回滚条件
切换,是新系统变成大家实际使用的系统的那一刻。安全的切换有固定的顺序:停止对旧系统的写入,加载最后的增量,跑对账检查,在新系统里测试基本功能,然后才切换读和写。先备份新系统的初始状态,以便能把它重置。
回滚条件要在切换之前写好,而不是在切换过程中。一组示例,阈值事先约定:
- 行数、不同主键数或价值合计里有任何未解释的差异:不切换;如果已经切换,就回滚。
- 被拒收的行超过数据的 0.5%(1,248,300 行对应 6,241 行):停下来修规则。
- 某份关键报表与旧系统相差超过 0.1%,又没有解释。
- 最慢的查询比旧系统慢两倍以上。
- 有人同时往两个系统写过数据。
切换前回滚很容易:中止并重置目标,旧系统一直在运行。切换之后,Google Cloud 的指南把回滚看作一次反向迁移,需要和正向迁移同样的规划和测试。这就是为什么切换后要把旧系统以只读方式保留一段固定的时间,也是为什么如果想保留回头的选项,新系统就要保存单条记录,而不能只保存合计。
示例:八周时间线
示例数据:一个中等规模数据集的计划,每个数据集有一位负责人。时长取决于数据量,以及有多少报表依赖这些数据。
| 周 | 工作 | 要通过的关口 |
|---|---|---|
| 第 1 到 2 周 | 盘点 | 每个数据集都有负责人、基线行数和保留或舍弃的决定 |
| 第 3 周 | 设计 | 映射、拒收规则、容差和回滚条件已书面约定 |
| 第 4 到 5 周 | 试迁移 1 和 2 | 试迁移 2 对账通过,未解释的差异为零;五份关键报表一致 |
| 第 6 周 | 切换 | 最终加载后 24 小时内完成对账;没有触发任何回滚条件 |
| 第 7 到 8 周 | 并行运行,旧系统只读 | 两周没有任何差异;有一份带日期的旧系统退役计划 |
切换后,把旧数据以只读方式至少保留一个月。数据集较小时,整个计划可以缩到两三周;不能缩的是,每个关口都要通过之后才开始下一个阶段。
常见误区
- 没有试迁移,一次大切换。 如果第一次完整运行就是正式运行,所有意外都发生在生产环境里。
- 只对行数。 行数相同,可能掩盖错误的值或被调换的记录。再加上不同主键数、合计和抽样。
- 提取期间让源数据继续变化。 没有冻结时点,也没有变更记录,副本永远对不上。
- 切换当天就扔掉旧数据。 保持只读,这样你才能对比,需要时也能回头。
- 什么都迁。 没人用的数据是成本和风险。盘点应该以一份「不迁移」清单结束。
- 被拒收的行没人负责。 没人看的拒收文件,就是悄悄丢数据。
- 从不测试回滚。 从没跑过的回滚方案是愿望,不是计划。
在 TapCub 里为网站统计迁移跑同一套计划
把网站统计迁到 TapCub,就是这个项目的缩小版。TapCub 不是迁移你自己数据库的工具;下面是把这套计划用在统计上的做法。
- 盘点大家在用什么。 列出每周有人打开的目标、漏斗和报表,通常不到十个。TapCub 迁移目标的帮助页,把你现有工具里每种转化对应到页面目标、事件目标、漏斗或分群,并提醒 TapCub 的目标转化率除以的是去重访客而不是会话,所以即使数量一致,转化率看起来也会不同。见迁移 GA4 的目标。
- 并行试运行。 把 TapCub 的代码加在现有标签旁边,运行一周,比较的是定义而不是原始合计:每天写下比值。迁移指南给出了一周计划,从第 1 天到第 7 天切换,旧标签再保留一个月。
- 检查新的一侧。 在 全端分析 › 数据管理 › 埋点方案 里,列出你打算采集的事件和必填属性;近 24 小时的实时验证视图,会显示每个事件的到达数和必填属性的完整度。这就是新一侧的对账报告。
- 一定要带历史的话。 TapCub 不导入 GA4 的历史数据,因为两个工具对用户和会话的统计口径不同,一张图里会混进互不兼容的定义;改为保留对旧 GA4 资源的只读访问(见导入 GA4 历史数据)。对于你自己的数据,全端分析 › 数据管理 › 数据导入 接受 CSV 事件、CSV 用户属性或 Nginx、Apache 访问日志,每个文件最多 100,000 行。先预览并映射列,然后结果显示总行数、已导入行数和失败行数,所以总数 = 已导入 + 失败就是你的行数检查。导入的事件带有 platform=import,可以用平台维度筛选;来自日志文件的访客不会和来自脚本的访客合并。通过服务端接口发送历史数据不会保留日期:与服务器时间相差超过 72 小时的事件,会被改写成收到的时间。
- 切换,然后保留旧工具。 让 TapCub 成为大家打开的链接,旧标签和只读权限保留一个月的退路期。
常见问题
数据迁移项目有哪几个阶段?
五个足够用来做计划:盘点、设计、试迁移、切换和对账。有的资料列三个阶段(计划、迁移、迁移后),或者七八个步骤。它们描述的是同样的工作,只是详细程度不同。关键是每个阶段后面都有一个关口,数字对上之前不开始下一阶段。
怎么验证迁移后的数据?
在新旧两边用同样的检查:行数、不同主键数、价值字段的合计、日期范围、空值率,以及逐字段对比的一批抽样记录。每个差异都需要逐行的解释,切换之前未解释的差异必须为零。
一次性切换和分阶段迁移有什么区别?
一次性切换在一个切换窗口里搬完所有数据,数据量小、可以接受短时间停机时最简单。分阶段迁移一次搬一个数据集或一组用户,每一步的风险更低,但两个系统要并存一段时间。
数据迁移项目要多久?
取决于数据量、转换工作量,以及有多少报表依赖这些数据。示例里的中等规模项目,包括两次试迁移和两周并行运行,大约需要八周。小数据集可以只要两三周,只要每个关口仍然通过。
什么时候该回滚迁移?
当事先约定的任何条件被触发:行数或合计里有未解释的差异、被拒收的行超过你的容差、某份关键报表无故不一致,或者查询比以前慢很多。切换之前把这些条件写下来,并把旧系统保持只读,这样回滚才仍然可行。
资料来源
- Wikipedia,Data migration(定义、分类、阶段、并行运行)。核对于 2026-11-17。
- Google Cloud,Database migration: Concepts and principles (Part 1)(停机容忍度、验证、切换、回退)。核对于 2026-11-17。
- Google Cloud,Database migration: Concepts and principles (Part 2)(验证、演练、作为反向迁移的回退)。核对于 2026-11-17。
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

