AI 报告,是指由软件起草指标的文字摘要:什么变了、变了多少、为什么变。它擅长排序、比较和措辞,不擅长没给它的算术,也不擅长讲原因。把每一句话都当作需要重新计算的断言,核对来源表之后再发出去。
读完你会知道
- 示例中 6 句话有 4 句对;一句增长率错了(+12% 而不是 +8.2%),一句给出了没人测量过的原因
- 每句话都要查三件事:数字、比较基准和声称的原因
- 最稳妥的配置是先运行查询,让模型只改写结果的措辞
AI 报告是什么,做哪几件事
AI 报告,是用软件(通常是大语言模型)根据你的数据写出报告的文字部分:标题、主要变化、和上期的比较,有时还有建议。它做三件不同的事,风险也不同:
- 检索和排序。 哪些页面、来源或商品变化最大。如果工具用查询来做,风险较低。
- 计算。 百分比变化、占比、比率。风险取决于是模型在算,还是数据库在算。
- 解释。 为什么发生。风险最高,因为报告里的数据很少包含原因。
三件事都是同样流畅的口吻,所以错的句子读起来和对的一样笃定。
原始表格和文字摘要:一个算例
示例数据:一家小型网店这一周对比上一周。
| 指标 | 上周 | 本周 | 变化 |
|---|---|---|---|
| 会话 | 12,400 | 13,420 | +8.2% |
| 订单 | 310 | 309 | −0.3% |
| 转化率 | 2.50% | 2.30% | −0.20 个百分点 |
| 收入 | $24,800 | $24,720 | −0.3% |
| 跳出率 | 46.0% | 47.5% | +1.5 个百分点 |
按渠道的会话:付费搜索 3,100 到 3,900,自然搜索 6,200 到 6,420,社交 1,500 到 1,500,直接访问 1,600 到 1,600。
针对这张表的 AI 写的摘要(这里手写成一个典型例子):
会话环比增长 12%,由付费搜索带动。订单持平,309 对 310。转化率从 2.50% 降到 2.30%,是因为新的首页横幅。付费搜索带来了大部分流量增长,收入持平。
读起来通顺,整体故事也大体对:流量上升、订单持平、转化下降。但其中仍有两句话不应该发出去。
| 摘要里的断言 | 按表格复算 | 结论 |
|---|---|---|
| 会话环比增长 12% | 13,420 ÷ 12,400 − 1 = +8.2% | 数字错误 |
| 订单持平(309 对 310) | 309 ÷ 310 − 1 = −0.3% | 正确 |
| 转化率从 2.50% 降到 2.30% | 310 ÷ 12,400 = 2.50%;309 ÷ 13,420 = 2.30% | 正确 |
| 下降是因为新的首页横幅 | 表格里没有横幅数据 | 原因无依据 |
| 付费搜索带来了大部分增长 | 1,020 次会话中 +800 = 78.4% | 正确 |
| 收入持平 | $24,800 到 $24,720 = −0.3% | 正确 |
示例数据:一周对比上一周。摘要是手写的典型 AI 输出示例,不是某个具体工具的结果。
逐句核对
把每一句话都按表格重新计算:
- 「会话增长 12%。」 13,420 ÷ 12,400 − 1 = 8.2%。数字错了。就算把表格给了模型,它在文字里计算时仍可能给出看似合理但错误的百分比。
- 「订单持平,309 对 310。」 正确,−0.3%。
- 「转化率从 2.50% 降到 2.30%。」 310 ÷ 12,400 = 2.50%,309 ÷ 13,420 = 2.30%。正确。
- 「……是因为新的首页横幅。」 表格里没有横幅的数据。这个原因是编出来的,最多是根据别处告诉工具的信息做的猜测。也许是真的,但这里没有任何东西证明它。
- 「付费搜索带来了大部分增长。」 会话增加了 1,020 次:付费搜索 +800(78.4%),自然搜索 +220(21.6%)。正确。
- 「收入持平。」 $24,800 到 $24,720 是 −0.3%。正确。
结果:6 条断言核实了 4 条(66.7%),一个数字错误,一个原因无依据。出错的两句,恰恰是读者会据此行动的:给董事会幻灯片用的增长率,和给设计团队看的原因。
这六句话的价值
核对了 6 条断言AI 叙述在哪里会出错
示例里有两种错误类型;还有其他需要留意的:
- 在文字里做算术。 百分比变化、占比和平均值是模型算的,而不是数据库算的。
- 基准错误。 「增长 12%」对比的是哪个时期?摘要可能悄悄在环比、月环比和同比之间切换。
- 没有证据的原因。 任何以「因为」「由于」「由……带动」引出、数据里却没有的内容。
- 范围漂移。 对全部流量的陈述,实际只算了一个渠道;或者说的是访客,数据统计的却是会话。
- 缺少背景。 一次故障、统计变更或机器人突发,人会记下来,工具不会。
NIST 的生成式 AI 配置文件(NIST-AI-600-1,2024 年 7 月 26 日发布)把生成语气笃定却错误的内容,列为生成式 AI 系统新增的风险之一。一项经同行评议的测量显示了某个领域里的规模:Dahl 等人用美国联邦法院案件的可验证问题测试大语言模型,发现幻觉率因模型不同在 58% 到 88% 之间。法律问题不是营销报告,所以这个范围不是你的摘要的错误率,它提醒的是:流畅的文字和正确的文字是两回事。
五步准确性检查
任何 AI 写的报告在发给别人之前,都走一遍这几步。一页的报告大约五分钟。
- 追踪每个数字。 文字里的每个数字都必须对应旁边表格或图里的一个单元格。找不到,就不允许出现。
- 重算每个百分比。 对单元格用公式(新 ÷ 旧 − 1)。示例里那个错误的增长率本来会进入幻灯片。
- 写明比较基准。 文字必须写「对比上周」或「对比去年同周」。没写就补上。
- 标记每个原因。 原因只有在引用了数据里的证据(比如日期标注、活动日期、渠道拆解)时才可接受。否则改写成「可能原因,未验证」,或者删掉。
- 用已知答案测试。 每月挑一个你已经知道发生了什么的一周问工具。如果它漏掉了你标注过的事件,就收紧设置。
判断规则
- 让查询产生数字,模型只改写措辞。 如果工具让模型做算术,就加一步重算。
- 描述性的句子抽查后可以发出;因果性的句子需要人来判断。
- 报告里保留那张表格。 读者应当一眼就能把句子和数据对上。
- 记录更正。 如果同一类错误反复出现(基准错误、编造原因),改提示词或换工具,而不是只改这份报告。
- 不要让 AI 摘要取代日期标注。 发布和故障发生时就记下来,没有模型能事后找回。
减少错误的设置选择
大多数错误的句子来自少数几个设置决定。每一个你都不用懂技术就能检查。
| 设置选择 | 更安全的选项 | 原因 |
|---|---|---|
| 数字从哪来 | 由工具运行的查询或报表,并显示在文字旁边 | 模型无需计算或记忆数字 |
| 模型可以做什么 | 改写和排序发现 | 它不能添加结果里没有的数字 |
| 比较基准 | 由工具固定(上周、去年同周) | 文字不能悄悄切换基准 |
| 原因 | 只来自你提供的标注、活动日期或渠道拆解 | 不会凭猜测编造任何东西 |
| 篇幅 | 一屏:标题、三项变化、一个待调查的问题 | 文字短,要核对的断言就少 |
对你评估的任何工具都问同样的问题:「是模型在计算,还是查询在算?」「我能看到查询吗?」「数据缺失时会怎样?」对最后一个问题,诚实的回答是它会说明。用一句自信的话把空缺填上的工具,是个风险。
每月一次已知答案的测试
每月一次,跑十个你已经知道答案的问题。示例数据:十个关于你已标注过的周的问题,比如「上周的会话」「哪个渠道增长最多」「转化率有没有上升」「定价上线之后发生了什么变化」。
| 问题类型 | 提问数 | 正确 | 备注 |
|---|---|---|---|
| 单个数字(会话、订单) | 4 | 4 | 全部与报表一致 |
| 百分比变化 | 3 | 2 | 有一个用了错误的基准期 |
| 排名(哪个渠道、页面) | 2 | 2 | 正确 |
| 原因(为什么变了) | 1 | 0 | 说了一个没有标注过的事件 |
| 合计 | 10 | 8 | 80.0% |
十个对八个,即 80.0%。看错误落在哪里:百分比变化和原因,和上面的算例一样。用它决定哪些类型的句子抽查后就可以发出(数字和排名),哪些始终需要人来判断(相对基准的变化,以及原因)。如果更换工具或提示词之后得分下降,就撤回这个改动。
在 TapCub 里 AI 写的答案怎么来
用同一家店、同一周。
- 打开 全端分析 › 智能运营 › AI 助手,在「问数」页签问「本周对比上周按渠道的会话」。答案来自对你的项目运行的分析查询,答案里会显示这个查询,你可以核对数字。助手不会检索知识库,也不会创建监控或发送通知。
- 答案的措辞先由规则根据结果写出。如果配置了模型,它只改写这份草稿,不允许编造结果里没有的数字。没有模型时,你得到的是基于规则的解读。
- 打开「变化归因」页签,看每个渠道、引荐域名、国家、设备或着陆页对变化的贡献。贡献是该值的变化除以总变化,也就是上面那个 78.4% 的核对。
- 想要固定报告,在 配置 › 设置 › 通知 里打开订阅报表。周报列出访客、浏览量、会话、跳出率和平均时长及其期间变化、上升最快的页面和来源、已启用目标的转化,以及一段由规则写成、有模型时由模型润色的简短解读。
- 在 配置 › 日期标注 里为横幅上线那天加一条标注,让以后的读者有一个原因的证据。
TapCub 给你数字和它背后的查询。判断为什么会这样,仍然需要人。
FAQ
什么是 AI 报告?
它是用 AI 根据你的数据起草报告的文字部分:什么变了、变化多大,有时还有原因。它节省写作时间,但草稿必须对照来源数字核对。
AI 报告准确吗?
取决于谁来计算。如果是数据库算数字、模型只负责措辞,准确度较高。如果是模型在文字里计算,就会出现错误的百分比。原因是最不可靠的部分,因为数据里很少包含原因。
AI 能取代我的每周营销报告吗?
它能取代初稿。仍需要人确认数字,补充发布和故障等背景,并决定怎么做。报告里保留来源表格。
怎么防止 AI 编造原因?
只允许引用你能展示的数据(比如日期标注或渠道拆解)作为原因。其余的标成「可能原因,未验证」或删掉。
AI 报告必须包含什么?
比较基准(对比上周或去年)、来源表格、时间范围和每个指标的定义。没有这些,读者就无法核对断言。
资料来源
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

