TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

数据迁移项目:五个阶段加对账检查的计划

数据迁移项目的成败,在于迁移前的盘点和迁移后的对账。五个带关口的阶段、一个对账算例、回滚条件、八周时间线,以及怎样把它用在统计迁移上。

陈屿 发布于 2026 年 11 月 17 日 12 分钟阅读 数据分析
示例数据:一个 1,248,300 行的数据集在第一次试迁移之后。1,248,300 − 1,102 − 286 = 1,246,912;金额和客户数的差异,等于被拒收的行所携带的部分。示例数据

数据迁移项目的成败,取决于搬运前的盘点和搬运后的对账,而不是复制本身。按五个阶段来规划(盘点、设计、试迁移、切换、对账),每个阶段都以一个能复算的数字收尾,只要还有任何差异解释不了,就不切换。

读完你会知道

  • 迁移前盘点,迁移后对账:复制数据是最容易的部分,你如果从没数过自己有什么,就证明不了什么到了新系统
  • 每个差异都要逐行解释:示例里缺失的 1,388 行,分成 1,102 个无效时间戳和 286 个重复,所以未解释的差异 = 0
  • 切换之前写好回滚条件,比如被拒收的行超过数据的 0.5%(1,248,300 行对应 6,241 行),或者出现任何未解释的差异

数据迁移项目是什么,不是什么

数据迁移项目,是把数据从旧系统搬到新系统。它不只是复制:你要选择数据、准备数据、提取、转换、加载、检查,最后让旧系统退役。最后这一步,是迁移和集成的区别。迁移是一次性的项目,以源系统退役收尾;集成是两个都保持运行的系统之间持续的数据流。

项目分四种,种类决定要预期多少转换工作:

  • 存储迁移:在物理介质之间搬数据,通常不改变格式。
  • 数据库迁移:更换数据库供应商或升级,数据可能需要重新整形。
  • 应用迁移:替换 CRM 或统计工具这类应用,通常需要大量转换。
  • 业务流程迁移:因为业务变了而搬数据,比如并购之后。它最难,因为会影响人们的工作方式。

本文是一套适合这四种的通用方法。如果你的具体项目是从 Google Analytics 4 换到别的工具,GA4 迁移清单讲了这种情形的细节。

它的核心观点很简单:迁移成败,看的是迁移前的盘点和迁移后的对账,而不是搬运本身。 复制数据是最容易的部分。出问题的项目,都是从没数过自己有什么、所以证明不了什么到了新系统的。下面每个阶段都以一个可以复算的数字收尾,每个关口的规则都一样:数字对不上、又解释不了差异,就不切换。

五个阶段一览

同样的工作,不同的资料分成三步、七步或八步,取决于切得多细。五个阶段足够用来做计划,每个阶段都有一个关口,必须通过才能开始下一个。下表给出每个阶段回答的问题、产出和关口。

注意五个阶段里有两个,盘点和对账,完全没有数据搬运。风险主要就是在这两个阶段里消除的。盘点时该找哪些数据质量问题,见数据质量;如果新系统还要接收一路数据流,各部分怎么配合,见数据管道。

阶段回答什么问题产出要通过的关口
1. 盘点我们有什么、谁在用、哪些不迁移?一张表:每个数据集的负责人、基线行数、关键字段和保留或舍弃的决定每个数据集都有基线和决定
2. 设计每个字段怎么映射、什么被拒收、什么时候停下来?映射、拒收规则、容差和回滚条件已书面约定
3. 试迁移这套流程在接近生产的数据上行得通吗?两次试运行,每次都有一份对账报告第二次试迁移:未解释的差异为 0;关键报表一致
4. 切换能安全地切换吗?最终加载、对账、切换24 小时内没有触发任何回滚条件
5. 对账所有数据都到了吗,是否仍然一致?最终报告和旧系统的退役日期两周没有任何差异

资料里同样的工作被分成三步、七步或八步;关键是每个阶段后面都有一个关口。

阶段 1:盘点

决定搬什么之前,先写下现有什么。对旧系统里的每张表、每个文件或每份报表,记录:

  1. 名称和负责人。 谁能回答关于它的问题。
  2. 行数和大小,带时间戳。 这是你的基线。把日期和时间写在旁边,因为源数据一直在变。
  3. 关键字段。 让一条记录唯一的标识符,以及把它放到时间线上的日期字段。
  4. 质量问题。 重复、必填字段里的空值、不可能的日期。现在就数,不要等搬完再数。
  5. 使用方。 哪些报表、看板或人依赖它。如果没人依赖某张表,就问问到底要不要搬。
  6. 敏感性和保留期。 它是否含个人数据,你被允许保存多久。迁移是删除你不该持有的数据的好时机。

产出是一张表,每个数据集一行。在这里决定哪些不迁移,以及原因。只搬在用的数据,会让后面每个阶段都变小。

阶段 2:设计怎么搬

设计回答「怎么搬」,应该在任何数据移动之前,在纸面上定下三件事:

  • 映射。 每个字段在新系统里放在哪里,途中有什么变化,比如日期格式、单位、货币和状态码。
  • 拒收规则。 无法加载的记录怎么办,比如时间戳不是日期。被拒收的行连同原因进入一个文件,而不是凭空消失,这样每一条缺失的记录事后都能解释。
  • 容差和回滚条件。 会让切换停下来的数字,事先约定好。样例见切换那一节。

然后选一种切换策略。Google Cloud 的迁移指南说,要尽早选定可以接受的停机时间,因为接近零停机比带一个停机窗口要费力得多。

策略怎么做适合什么时候主要风险
一次性切换停掉旧系统,加载全部数据,启动新系统数据量小,可以接受短时间停机只有一次机会;出问题很难恢复
分阶段一次迁移一个数据集或一组用户数据能干净地拆成互相独立的部分两个系统必须并存;各部分之间的联系可能断掉
并行运行新旧系统并行运行并对比你需要证明新系统给出同样的答案工作量翻倍;可能误把数据同时写进两个系统

常见的陷阱是客户端同时往两个系统写,这会让两边以很难修复的方式分叉。要决定每一时刻由哪个系统接收写入,并让这条规则人人看得到。

阶段 3:试迁移

试迁移是在生产数据的副本上跑完整个流程,目的是尽早失败。至少计划两轮。第一轮找出映射和拒收规则里的问题,第二轮证明你的修复有效。Google Cloud 的指南建议,用加载了接近生产的数据的测试实例,并在上线前反复测试。

每一轮之后,用下一节的检查项生成一份对账报告。示例数据:一个 1,248,300 行的数据集,第一次试迁移加载了 1,246,912 行,拒收 1,388 行,其中 1,102 行因为时间戳无效,286 行因为主键重复。核对算术:1,248,300 − 1,102 − 286 = 1,246,912。被拒收的行是 1,388 ÷ 1,248,300 = 0.11%。每一条缺失的行都有原因,但 0.11% 仍然需要在切换之前定一条修复规则:要么修正时间戳,要么约定丢弃它们可以接受。

还要测试人们怎么用这些数据,而不只是数据本身。把大家最常打开的五份报表在两个系统里各跑一遍,比较结果。Google Cloud 的指南说,测试应该覆盖客户端依赖的业务逻辑,而不只是数据。

对账检查项

对账证明什么到了新系统。每次试迁移之后和切换之后,在新旧两边跑同一组检查,并排放在一起:

  1. 每个数据集的行数。 最简单的检查,也是最常被当作仅有检查的。
  2. 不同主键数。 唯一标识符的个数,比如客户或订单。它能抓住行数掩盖的重复。
  3. 合计。 任何带有价值的字段之和,比如金额、数量或时长。
  4. 日期范围。 最早和最晚的日期。它能抓住时区偏移和被截断的加载。
  5. 空值率。 关键字段里空值所占的比例。
  6. 抽样对比。 随机挑 50 条记录,逐字段肉眼对比。

让这套办法起作用的规则是:每一个差异都必须逐行解释,未解释的差异必须为零。 差异小,不等于可以接受。在示例报告里,行数相差 −1,388,解释是 1,102 个无效时间戳加 286 个重复主键。金额合计相差 −5,552.25,正好等于被拒收行上的金额(4,100.00 + 1,452.25)。不同客户数相差 −29,等于那些所有行都被拒收的客户(86,420 − 86,391 = 29)。所有的数都对得上,所以未解释的差异是 0,关口通过。

反过来,如果金额合计同样相差 −5,552.25,却没有被拒收的行能解释它,这个数就是未解释的,答案是停下来。当你在途中做过过滤或转换时,直接比较源和目标并不总是可靠,所以你要比较的是你能解释的合计,而不是只看是否相等。

app.tapcub.com

试迁移 1 · 对账报告

示例数据
检查项旧系统新系统差异解释
行数1,248,3001,246,912−1,3881,102 个无效时间戳 + 286 个重复
金额合计2,914,806.402,909,254.15−5,552.25被拒收的 1,388 行上的金额
不同客户数86,42086,391−29所有行都被拒收的客户
最早到最晚日期2019-03-04 到 2026-10-312019-03-04 到 2026-10-31无不适用
未解释的差异0关口通过

每个差异都有逐行的解释,所以未解释的差异是 0。那 1,102 个无效时间戳在切换之前仍需要一条修复规则。

示例数据
示例数据:一个 1,248,300 行的数据集在第一次试迁移之后。1,248,300 − 1,102 − 286 = 1,246,912;金额和客户数的差异,等于被拒收的行所携带的部分。

切换和回滚条件

切换,是新系统变成大家实际使用的系统的那一刻。安全的切换有固定的顺序:停止对旧系统的写入,加载最后的增量,跑对账检查,在新系统里测试基本功能,然后才切换读和写。先备份新系统的初始状态,以便能把它重置。

回滚条件要在切换之前写好,而不是在切换过程中。一组示例,阈值事先约定:

  1. 行数、不同主键数或价值合计里有任何未解释的差异:不切换;如果已经切换,就回滚。
  2. 被拒收的行超过数据的 0.5%(1,248,300 行对应 6,241 行):停下来修规则。
  3. 某份关键报表与旧系统相差超过 0.1%,又没有解释。
  4. 最慢的查询比旧系统慢两倍以上。
  5. 有人同时往两个系统写过数据。

切换前回滚很容易:中止并重置目标,旧系统一直在运行。切换之后,Google Cloud 的指南把回滚看作一次反向迁移,需要和正向迁移同样的规划和测试。这就是为什么切换后要把旧系统以只读方式保留一段固定的时间,也是为什么如果想保留回头的选项,新系统就要保存单条记录,而不能只保存合计。

示例:八周时间线

示例数据:一个中等规模数据集的计划,每个数据集有一位负责人。时长取决于数据量,以及有多少报表依赖这些数据。

周工作要通过的关口
第 1 到 2 周盘点每个数据集都有负责人、基线行数和保留或舍弃的决定
第 3 周设计映射、拒收规则、容差和回滚条件已书面约定
第 4 到 5 周试迁移 1 和 2试迁移 2 对账通过,未解释的差异为零;五份关键报表一致
第 6 周切换最终加载后 24 小时内完成对账;没有触发任何回滚条件
第 7 到 8 周并行运行,旧系统只读两周没有任何差异;有一份带日期的旧系统退役计划

切换后,把旧数据以只读方式至少保留一个月。数据集较小时,整个计划可以缩到两三周;不能缩的是,每个关口都要通过之后才开始下一个阶段。

常见误区

  • 没有试迁移,一次大切换。 如果第一次完整运行就是正式运行,所有意外都发生在生产环境里。
  • 只对行数。 行数相同,可能掩盖错误的值或被调换的记录。再加上不同主键数、合计和抽样。
  • 提取期间让源数据继续变化。 没有冻结时点,也没有变更记录,副本永远对不上。
  • 切换当天就扔掉旧数据。 保持只读,这样你才能对比,需要时也能回头。
  • 什么都迁。 没人用的数据是成本和风险。盘点应该以一份「不迁移」清单结束。
  • 被拒收的行没人负责。 没人看的拒收文件,就是悄悄丢数据。
  • 从不测试回滚。 从没跑过的回滚方案是愿望,不是计划。

在 TapCub 里为网站统计迁移跑同一套计划

把网站统计迁到 TapCub,就是这个项目的缩小版。TapCub 不是迁移你自己数据库的工具;下面是把这套计划用在统计上的做法。

  1. 盘点大家在用什么。 列出每周有人打开的目标、漏斗和报表,通常不到十个。TapCub 迁移目标的帮助页,把你现有工具里每种转化对应到页面目标、事件目标、漏斗或分群,并提醒 TapCub 的目标转化率除以的是去重访客而不是会话,所以即使数量一致,转化率看起来也会不同。见迁移 GA4 的目标。
  2. 并行试运行。 把 TapCub 的代码加在现有标签旁边,运行一周,比较的是定义而不是原始合计:每天写下比值。迁移指南给出了一周计划,从第 1 天到第 7 天切换,旧标签再保留一个月。
  3. 检查新的一侧。 在 全端分析 › 数据管理 › 埋点方案 里,列出你打算采集的事件和必填属性;近 24 小时的实时验证视图,会显示每个事件的到达数和必填属性的完整度。这就是新一侧的对账报告。
  4. 一定要带历史的话。 TapCub 不导入 GA4 的历史数据,因为两个工具对用户和会话的统计口径不同,一张图里会混进互不兼容的定义;改为保留对旧 GA4 资源的只读访问(见导入 GA4 历史数据)。对于你自己的数据,全端分析 › 数据管理 › 数据导入 接受 CSV 事件、CSV 用户属性或 Nginx、Apache 访问日志,每个文件最多 100,000 行。先预览并映射列,然后结果显示总行数、已导入行数和失败行数,所以总数 = 已导入 + 失败就是你的行数检查。导入的事件带有 platform=import,可以用平台维度筛选;来自日志文件的访客不会和来自脚本的访客合并。通过服务端接口发送历史数据不会保留日期:与服务器时间相差超过 72 小时的事件,会被改写成收到的时间。
  5. 切换,然后保留旧工具。 让 TapCub 成为大家打开的链接,旧标签和只读权限保留一个月的退路期。

常见问题

数据迁移项目有哪几个阶段?

五个足够用来做计划:盘点、设计、试迁移、切换和对账。有的资料列三个阶段(计划、迁移、迁移后),或者七八个步骤。它们描述的是同样的工作,只是详细程度不同。关键是每个阶段后面都有一个关口,数字对上之前不开始下一阶段。

怎么验证迁移后的数据?

在新旧两边用同样的检查:行数、不同主键数、价值字段的合计、日期范围、空值率,以及逐字段对比的一批抽样记录。每个差异都需要逐行的解释,切换之前未解释的差异必须为零。

一次性切换和分阶段迁移有什么区别?

一次性切换在一个切换窗口里搬完所有数据,数据量小、可以接受短时间停机时最简单。分阶段迁移一次搬一个数据集或一组用户,每一步的风险更低,但两个系统要并存一段时间。

数据迁移项目要多久?

取决于数据量、转换工作量,以及有多少报表依赖这些数据。示例里的中等规模项目,包括两次试迁移和两周并行运行,大约需要八周。小数据集可以只要两三周,只要每个关口仍然通过。

什么时候该回滚迁移?

当事先约定的任何条件被触发:行数或合计里有未解释的差异、被拒收的行超过你的容差、某份关键报表无故不一致,或者查询比以前慢很多。切换之前把这些条件写下来,并把旧系统保持只读,这样回滚才仍然可行。

另见:什么是数据转换?类型、检查清单和时区算例。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

陈屿

技术工程师

专注统计代码、SDK 与接口集成文档,从接入验证到问题排查,帮助开发者更顺畅地完成实施。

用一周并行来切换你的网站统计

在现有标签旁边安装,比较口径,映射目标,并在切换之前检查事件到达情况。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie