一句话回答
数据联邦是一种把分散在多个独立系统里的数据当作一个数据库来查询的方法,不需要先复制到中央存储。联邦层拆分查询,在数据所在的地方分别执行,再在查询时把结果合并。
公式: 每天盈亏平衡次数 n = 加载耗时 ÷(联邦单次耗时 − 仓库单次耗时),例如 600 ÷(45 − 3)≈ 14.3。
什么是数据联邦?
数据联邦(Data Federation)是一种把分散在多个独立系统里的数据当作一个数据库来查询的方法,不需要先把数据复制到一个中央存储里。联邦层接收一条查询,把它拆成给各个数据源的片段,把片段送到数据所在的地方执行,再在返回途中把答案合起来。数据留在原处,移动的只有查询结果。
这个想法很早就有。它来自研究文献里的“联邦数据库系统”:各个独立的数据库彼此协作,同时保留各自的所有者和结构。今天它以 PostgreSQL 的外部数据包装器、Trino 这类分布式 SQL 引擎,以及数据平台出售的“虚拟”层等形式出现。联邦是数据集成那一页所讲问题的一种解法;另外几种主要解法是先复制数据,比如 ETL 和数据仓库。
一条联邦查询是怎么跑起来的
联邦查询没有魔法,它就是一个有几个固定步骤的执行计划。
- 连接。 联邦层为每个数据源保存一个连接和一份映射,例如指向远程表的外部表。比如 Trino 就是为在不同种类的数据源(关系型数据库、Cassandra 等)之上运行而设计的。
- 规划。 引擎把查询拆成每个数据源能执行的部分,和必须由自己执行的部分。过滤或关联能不能放到远端处理,由引擎的规则决定。
- 下推。 数据源能做的工作就送过去做。以 PostgreSQL 的
postgres_fdw为例,它只把使用内置运算符和函数的WHERE条件发给远程服务器;两张表都在同一台远程服务器上时,会把整个关联发过去。凡是不能下推的,取回行之后在本地计算。 - 传输。 经过远端过滤后剩下的行通过网络传回来,这一步通常占成本的大头。
- 合并。 联邦层完成关联和聚合,返回结果。什么都不存,下一次运行又从第 2 步开始。
由第 3、4 步得出的实用规则:远端系统负责缩减数据时,联邦查询就快;联邦层要把原始行全拉回来自己缩减时,就慢。 想知道下推了什么,看执行计划即可;在 PostgreSQL 里用 EXPLAIN VERBOSE,它会显示实际发给远程服务器的查询文本。
联邦、数据仓库与集成的区别
| 数据联邦 | 数据仓库(ETL / ELT) | 应用集成(接口同步) | |
|---|---|---|---|
| 数据在哪 | 留在各自的数据源 | 复制到一个存储里 | 在各个业务系统之间复制 |
| 新鲜度 | 查询时与数据源一样新 | 与最近一次加载一样新 | 与最近一次同步一样新 |
| 查询速度 | 受最慢的数据源和网络限制 | 快,数据已按分析整理好 | 不是为分析查询设计的 |
| 对源系统的负载 | 每次查询都会打到源系统 | 只有定时加载会打到源系统 | 每次同步都会打到源系统 |
| 历史数据 | 只有各数据源自己保留的 | 可以保留完整历史 | 通常只有当前状态 |
| 清洗与关联 | 每次查询都要重做 | 加载时做一次 | 在同步逻辑里做 |
| 成本形态 | 按查询付费 | 为存储和加载付费 | 为开发和运行同步付费 |
| 适用场景 | 偶尔的跨系统问题、要求最新的业务数据、不能复制的数据 | 反复的重度分析、报表、历史 | 让两个业务系统保持一致 |
复制优先这一边的细节见数据湖仓与数据仓库的对比。联邦常被称为数据虚拟化,两个词有重叠,很多厂商混着用。
算例:时间和字节花在哪
示例数据:一家公司在 CRM 数据库里有 50,000 个客户,在另一个销售数据库里有 12,000,000 行订单。分析师想问:最近 30 天里,哪些德国客户下过金额大于 100 的订单?
传输的字节数。 假设一行订单平均 40 字节。
| 方案 | 送到联邦层的行数 | 大小 |
|---|---|---|
| 不下推:取回全部订单,在本地过滤 | 12,000,000 | 12,000,000 × 40 B = 480 MB |
| 下推:销售数据库先过滤到最近 30 天、金额大于 100 | 400,000 | 400,000 × 40 B = 16 MB |
下推把传输量降到三十分之一。同一条查询、同样的写法,仅仅因为引擎能不能下推过滤,就可能很快也可能慢得难受。
联邦还是复制? 假设联邦查询耗时 45 秒;每晚加载进数据仓库要 600 秒,之后同一个问题只要 3 秒。
| 每天运行次数 | 联邦合计 | 仓库合计(600 秒加载 + 次数 × 3 秒) | 时间上更省的 |
|---|---|---|---|
| 1 | 45 秒 | 603 秒 | 联邦 |
| 10 | 450 秒 | 630 秒 | 联邦 |
| 14 | 630 秒 | 642 秒 | 联邦(基本持平) |
| 15 | 675 秒 | 645 秒 | 仓库 |
| 200 | 9,000 秒 | 1,200 秒 | 仓库 |
平衡点在 45 × n = 600 + 3n 处,解得 n = 14.3 次/天。低于这个次数,联邦在时间上更省,还不用维护数据管道;高于它,复制更划算。耗时不是仅有的成本,因为每次联邦查询也会给源系统加负载,但比较的形状不变:联邦适合偶尔的问题,复制适合反复的问题。
什么时候用数据联邦
把下面这些规则当作起点,再用自己的数字去核对:
- 适合联邦的情况: 问题很少问或者带探索性、答案必须反映数据源此刻的状态、下推之后结果很小、或者制度上不允许把数据从原系统里复制出来。
- 适合复制的情况: 同一条查询一天跑很多次、需要数据源不保留的历史、关联键需要清洗而且重复清洗代价很高、或者源系统承受不了分析负载。
- 两者结合: 把相对稳定的核心数据加载进数据仓库,再把一张变化很快的表用联邦的方式叠加上去。
- 不要联邦: 跨地区的慢链路上的大表;传输这一步会占据主要时间。
常见误区
- 把联邦当成免费的数据仓库。 它省掉的是复制,不是工作:除非在数据源里先做好,否则清洗、关联和去重每次查询都要做一遍。
- 让分析师的查询直接打生产库。 联邦扫描跑在数据源自己的 CPU 上。把它指向只读副本,或者只允许小而带过滤的查询。
- 忽视下推的限制。 带自定义函数的过滤可能在取回所有行之后才在本地计算。信任一条“在小表上跑得好好的”查询之前,先看执行计划。
- 指望得到一致的快照。 各数据源在略有不同的时刻被读取,写入繁忙时,跨系统的合计在几秒内可能对不上。
- 以为各数据源对身份的看法一致。 联邦是按键关联的;如果 CRM 和销售系统没有共同的键,仍然需要先做实体解析或建立统一数据模型。
数据联邦与 TapCub
设想同一位分析师想把产品使用情况和账单对应起来:使用事件在 TapCub,发票在财务数据库。TapCub 在这里的位置如下。
- TapCub 不做联邦查询。 它不会在查询时伸手去读你的财务数据库,也不充当联邦层。TapCub 内部的分析跑在 TapCub 项目里采集到的事件和用户属性上。
- 把需要的那一点复制进来。 如果只需要一个财务属性,比如套餐或合同金额,就把它作为用户属性或事件属性发送,这样就能在 全端分析 › 行为分析 › 行为分析 里用它过滤和拆分。
- 需要重度关联时,把 TapCub 的数据导出来。 全端分析 › 数据管理 › 数据导出 提供原始明细的异步导出,可以把它和发票一起加载到你自己的数据仓库里。
- 把约定写清楚。 在 全端分析 › 数据管理 › 埋点方案 里记下打算发送哪些事件和属性,以后拿这份数据做关联的人才知道每个字段的含义。
所以在联邦的故事里,TapCub 是其中一个数据源,不是上面那一层。如果这个问题一个季度才问一次,在你自己的系统之间做一次联邦查询也许就够了;如果每天都要问,就导出再加载。
资料来源
- PostgreSQL 文档,postgres_fdw: access data stored in external PostgreSQL servers。
- Trino 文档,Use cases。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
