TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

AI 数据治理:五项控制,先管输入,再管输出

AI 数据治理在普通治理之上多了三个问题:什么数据会到达模型、输出能不能追溯、有没有人复核。本文给出五项控制、一个带数字的复核抽样算例,以及输入规则该写什么。

伊森·布鲁克斯 发布于 2026 年 11 月 18 日 9 分钟阅读 数据分析
示例数据:5,000 个问题里,2,000 个得到精确存储答案,600 个转人工,2,400 个是 AI 回复。抽样 5%(120 条)发现 6 条有误(5.0%),约为每月 120 条错误回复,合理范围 55 到 252 条。示例数据

AI 数据治理就是普通的数据治理,再加三个问题:哪些数据会到达模型,输出能不能追溯到来源,有没有人检查。先管输入,再管输出。本文给出五项控制(输入、权限、记录、复核、删除)、一条可以照抄的输入规则,以及一个带数字的复核算例。本文不是法律意见。

读完你会知道

  • 先管输入:写一份哪些数据可以、哪些不可以到达模型的书面清单
  • 用抽样衡量输出;算例中复核 120 条发现 6 条有误,是 5.0%,区间 2.3% 到 10.5%
  • 每个 AI 功能都需要转人工的路径、发生过什么的记录,以及提示词和日志的删除计划

什么是 AI 数据治理?它和普通的数据治理有什么不同?

AI 数据治理就是普通的数据治理(数据归谁、谁能用、怎么保存),再加上只有模型介入后才出现的三个问题:哪些数据会进入模型(用于训练、微调或回答请求)、输出能不能追溯到它的来源、以及输出在起作用之前有没有人检查。本文的简短规则是:先管输入,再管输出。 无法追溯的输出,和被喂了不该看的数据的模型,是大多数团队碰到的两种失败。

NIST 的 AI 风险管理框架把更大的工作分成四项职能:治理(Govern)、映射(Map)、衡量(Measure)和管理(Manage)(AI RMF 1.0,2023 年 1 月 26 日发布,2024 年 7 月 26 日增加了生成式 AI 概要)。本文取其中数据这一块,把它变成小团队也能运行的五项控制。这是实用指南,不是法律意见,也不涉及模型怎么训练。

AI 在你已有的治理之上多了什么?

维度传统数据治理AI 增加的内容
输入谁可以收集和存储某个数据集哪些数据集可以发给模型,发到谁的服务器
用途收集的既定理由把数据用于模型的另一个理由,可能与最初的不同
访问谁能打开某张表谁能向模型提问并因此暴露数据
血缘一张表从哪来一个答案取自哪些来源
质量表对不对答案对不对,出错频率多高
记录访问日志提示词、答案,以及哪个模型版本生成的
删除按计划删行还包括提示词、日志、缓存和任何微调模型里的副本

有两行值得强调。用途这一行重要,因为为运行服务而收集的数据,不会自动适合喂给模型;GDPR 要求数据“充分、相关,并限于所必需”,这同样适用于新用途(第 5 条第 1 款第 c 项),数据最小化的理念是先要用的一道过滤。删除这一行重要,因为从你的数据库删掉一行,并不会从供应商的日志里删掉。

哪五项控制覆盖了 AI 数据治理?

控制问题证明它存在的材料
输入哪些数据可以到达模型?数据类型的允许清单和禁止清单(个人标识符、密钥)
权限谁能用模型,能用在哪些数据上?角色、限定范围的密钥、按项目的限额
记录能不能还原发生了什么?请求、输出、模型及版本的日志
复核有人检查输出吗?抽样流程和记录在案的错误率
删除能删除数据并证明吗?提示词和日志的保留天数、删除流程

按所示顺序运行。输入排在前面,因为模型一旦收到了不该收到的数据,后面任何控制都弥补不了。权限和记录紧随其后,因为它们让滥用可见。复核衡量模型的真实表现,删除则完成闭环。数据最初从哪来,见数据血缘;这些控制所处的更大计划,见数据策略。

控制问题证明它存在的材料
输入哪些数据可以到达模型?允许清单和禁止清单(个人标识符、密钥)
权限谁能用模型,能用在哪些数据上?角色、限定范围的密钥、按项目的限额
记录能不能还原发生了什么?请求、输出、模型及版本的日志
复核有人检查输出吗?抽样流程和记录在案的错误率
删除能删除数据并证明吗?提示词和日志的保留天数、删除流程

按这个顺序执行:模型一旦收到了数据,输入规则就无法再补救。

怎样设置输入规则?

写一份简短而具体的清单。分三层就够:

  1. 绝不发送: 直接标识符(姓名、邮箱、电话、银行卡和身份证号)、健康细节、凭证,以及你向客户承诺过保密的任何内容。清单里该放什么,见 PII 示例。
  2. 需要时才发送,且要先遮盖: 自由文本的对话内容、账户名称、订单编号。能遮盖的在发送前遮盖。
  3. 可以安全发送: 汇总计数、公开的帮助文章文字、商品目录数据。

然后再加两项检查。提供方条款: 以书面形式记录提供方是否保留提示词、是否用它们训练模型、在哪里处理数据。回答不清楚的,就把该提供方视为不可信,不给它个人数据。用途: 为每个 AI 用例写一句话的用途,并与收集数据时告知客户的内容对照。

对于高风险 AI 系统,欧盟《人工智能法》要求对训练、验证和测试数据有书面的做法,包括设计选择、数据怎么收集及来源、标注和清洗等准备步骤、假设、适用性检查以及对可能偏差的审查(第 10 条)。你不必属于适用范围,也可以借用这份清单:它是很好的“该写下什么”的提示。

怎样用数字复核输出?

复核把“我们相信模型”变成一个被衡量的比率。一个带示例数据的算例:一家网店用 AI 助手回答客户问题。

  • 一个月来了 5,000 个问题。
  • 40% 由精确的存储答案回答,不涉及模型:5,000 × 0.40 = 2,000。
  • 其余 3,000 走模型路径。其中 20% 转给真人:3,000 × 0.20 = 600。
  • 剩下 3,000 − 600 = 2,400 条 AI 回复。
  • 审核员读 5% 的随机样本:2,400 × 0.05 = 120 条,发现 6 条有误:6 ÷ 120 = 5.0%。

放大到全月,2,400 的 5.0% 约为每月 120 条错误回复。因为 120 只是样本,要给出区间:6/120 的 95% Wilson 区间是 2.3% 到 10.5%,约合每月 55 到 252 条错误回复。由此可得一条决策规则:如果每月 252 条错误回复对你风险最高的那类问题来说不可接受,就缩小 AI 可以回答的问题范围,或把它们转给真人。错误答案不是假想的成本:加拿大一家审裁机构裁定,航空公司要为其网站聊天机器人告诉客户的内容负责(Moffatt v. Air Canada,2024 BCCRT 149)。

每月重新抽样,并且在每次更换模型、提示词或资料来源时也重新抽样。

app.tapcub.com

每月 5,000 个问题的去向

示例网店,使用 AI 助手
AI 回复2,400
精确存储答案2,000
转给真人600
复核样本120
示例数据
示例数据:5,000 个问题里,2,000 个得到精确存储答案,600 个转人工,2,400 个是 AI 回复。抽样 5%(120 条)发现 6 条有误(5.0%),约为每月 120 条错误回复,合理范围 55 到 252 条。

怎样设置权限、记录和删除?

  • 权限。 只给人能完成工作的最小范围。只需读取的工具用只读密钥;每个工具用单独的密钥,这样可以单独撤销其中一个;对模型使用设按项目的限额,避免失控的任务花光或暴露一切。
  • 记录。 对每条 AI 辅助的回答,保存时间、模型、问题、用到的来源,以及是否有人接手。只在某个明确用途需要的期限内保存,因为日志里如果含对话文字,它本身就是个人数据。
  • 删除。 列出数据落地的每个地方:你的数据库、提供方的日志、缓存、导出文件,以及任何微调模型。为每个地方设保留期,并把一次删除从头到尾测一遍。把计划与你的数据保留政策衔接。

AI 在分析工作中的用法,AI 营销分析讲了模型哪里有帮助、哪里会误导。

团队常犯哪些错?

  • 治理模型,不治理数据。 只有“负责任 AI”的政策,却没有允许数据的清单,什么也保护不了。
  • 悄悄把数据用于新用途。 为分析写的收集告知,可能不涵盖模型使用。
  • 相信提供方的默认设置。 日志和训练的默认设置各不相同;要读条款。
  • 不抽样。 没有被衡量的错误率,“看起来没问题”就是仅有的证据。
  • 什么都记,一直记。 提示词日志会变成你持有的最大一堆个人数据。
  • 没有转人工的路径。 模型如果无法转交,每个错误都会直接到达客户。
  • 把上线时的一次评审当成长期有效。 模型、提示词和来源每个月都在变。

怎样把它用到 TapCub 的 AI 功能上?

还是上面那家网店。它使用带 AI 回复的 TapCub 在线客服,想把输入、复核和成本控制在自己手里。步骤对应五项控制;下面每个行为都以 TapCub 的文档为依据。

  1. 用限制来源的办法限制输入。 在 客服 › 知识库 里,AI 只从知识库资料起草回答;没有启用的条目时它不回答。精确匹配的问答按存储内容发送,不调用模型。只把可以安全发送的内容放进去,参考上面“可以安全发送”的清单。
  2. 选择 AI 做多少。 在 客服 › 聊天设置 › AI 接待 里,模式有关闭、仅坐席全离线时、AI 先答。首次回复前,访客会被告知正在和 AI 交流,这条提示不能关闭;AI 消息带有 AI 标识。AI 只生成回复,不能改订单、发邮件或调用别的系统。
  3. 设定边界。 「单会话最多回答轮数」可设 1 到 20,默认 6;超过后对话转人工。收件箱会给每次转人工标注原因(知识库无匹配、模型无法回答、访客要求、轮数上限、坐席接手),这为你的复核样本提供了分母。
  4. 复核并纠正。 在收件箱里对错误回答点「纠错入库」,把它存成一条问答,下次直接发送存储的答案,不再调用模型。从最近 30 天已解决对话生成的草稿进入草稿收件箱,在你批准之前不会上线。
  5. 管住分析里的 AI。 全端分析 › 智能运营 › AI 助手 的数字来自对你项目运行的分析查询;它不检索知识库。模型调用有按站点的每日上限,没有配置模型时只走规则。MCP 页签通过在 配置 › 设置 › API 密钥 里创建的、带“读取报表”权限的密钥提供只读访问。

TapCub 不替你复核回答,也不替你决定允许数据的清单;复核部分所说的每月抽样,要由你来做。

FAQ

什么是 AI 数据治理?

它是把数据治理延伸到模型:哪些数据可以到达模型、输出能不能追溯到来源、有没有人复核输出。它在通常的归属、访问和保留规则之上,增加了输入规则、记录和复核。

AI 数据治理和 AI 治理有什么不同?

AI 治理覆盖模型的整个生命周期,包括风险、偏差、透明度和问责。AI 数据治理是其中的数据部分:什么数据进去、谁能使用、记录什么、删除什么。前者为模型定规则,后者为模型的数据定规则。

AI 数据治理的支柱有哪些?

一组实用的做法是五项控制:输入、权限、记录、复核和删除。它们与 NIST AI 风险管理框架中的治理、映射、衡量、管理四项职能相对应,但并不取代它们。

可以把客户数据放进 AI 工具吗?

只有当提供方的书面条款涵盖它如何存储、使用和删除提示词,你自己的用途允许,并且你已经遮盖或去掉直接标识符时,才可以。条款不清楚时,就不要放个人数据。

多久复核一次 AI 输出?

每月抽样,并在模型、提示词或资料来源有任何变化后再抽一次。2,400 条回复的 5% 样本是 120 条;读完后记录错误率及其区间。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

伊森·布鲁克斯

解决方案工程师

围绕 SDK、接口集成与数据接入编写实践指南,关注实施验证、系统协作和技术排障。

看看 TapCub 的 AI 功能怎样被限定边界

只用知识库起草、轮数上限、带原因的转人工、纠错入库,以及只读的分析访问。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie