TapCub 正式上线:统计、分析、客服一个平台免费用
增长与运营

AI 可见度审计:可以反复做的五步检查清单

把 AI 可见度审计做成检查清单而不是分数:爬虫访问、llms.txt、爬虫日志、助手引用了什么、这些访问转化成什么,附算例和完整的检查表。

奥利弗·里德 发布于 2026 年 11 月 18 日 10 分钟阅读 增长与运营
示例数据:运营方 A 抓取 18,000 次、带回 90 次访问;B 抓取 3,000 次、带回 150 次。每个访问对应的读取数分别是 200 和 20。C 是训练爬虫,没有访问是意料之中的。示例数据

AI 可见度审计回答三个问题:AI 爬虫能不能抓到你的页面、AI 助手引用的是什么、这些引用带来了多少访问?把它当作五步检查清单来做,不要做成一个分数,因为爬虫访问、引用和转化是因不同的原因出问题的。下面是每一步、一个数过的爬虫示例、一张完整的检查表,以及会误导人的错误。

读完你会知道

  • 把可衡量的一半(爬虫、带来的访问、转化)和要抽样的一半(助手怎么说)分开
  • 抓取不等于引用:一个页面可以被抓几千次,却从没被引用
  • 按用途逐个爬虫决定,因为训练、搜索和用户触发的抓取是不同的事

AI 可见度审计要检查什么?

AI 可见度审计依次回答三个问题:AI 爬虫能不能抓到你的页面、AI 助手引用的是什么、这些引用带来了多少访问? 它是一张每季度都能重复做的检查清单,不是一个分数。这个概念本身和它为什么重要,在 AI 可见度 里讲过;本文讲的是操作步骤。

审计分两半,需要不同的方法:

  • 可衡量的一半在你自己的数据里:哪些爬虫抓了哪些页面、拿到什么状态码,以及哪些真人会话来自 AI 助手。
  • 要抽样的一半是助手实际上怎么说你。没有任何日志能显示它。你要用一组固定的问题去问,并把答案记下来。

单一的「可见度分数」把两半混在一起,看不出是哪一半出了问题。要把它们分开:被屏蔽的页面不可能被引用,而被抓了一万次却从没被引用的页面,问题是另一种。

问题去哪里看方法
AI 爬虫能抓到你的页面吗?robots.txt、状态码、页面 HTML衡量
哪些爬虫真的在读你?爬虫日志或机器人报表衡量
助手引用了什么?一组固定的 15 到 25 个提问按计划抽样
有多少访问来自 AI?来自 AI 来源的真人会话衡量
这些访问转化了吗?AI 来源会话的目标衡量,要有足够的量

五项检查里有四项来自你本来就在收集的数据;只有引用检查是手动的。

第 1 步:AI 爬虫能抓到你的页面吗?

先从控制访问的文件开始,因为其他一切都取决于它。

  1. 打开线上域名的 /robots.txt,读你关心的每个 AI 爬虫的规则。它们是不同的用户代理,用途也不同。OpenAI 的文档列出了 OAI-SearchBot(抓取是为了让网站出现在 ChatGPT 的搜索功能里)、GPTBot(内容可能用于训练其模型)和 ChatGPT-User(用户提问时抓取页面,robots.txt 规则可能不适用)。屏蔽 GPTBot 是训练层面的决定,而屏蔽 OAI-SearchBot 会让你不出现在 ChatGPT 的搜索回答里;要逐个爬虫决定,不要一刀切。每个爬虫在各自的文章里都有说明,例如 GPTBot,术语见 AI 爬虫。
  2. 确认 robots.txt 本身能打开。 按《机器人排除协议》(RFC 9309),爬虫因服务器错误访问不到 robots.txt 时,必须当作完全禁止。所以一个报错的 robots.txt 可能把所有爬虫都挡在外面。
  3. 检查关键页面的状态码。 浏览器访问返回 200、爬虫访问返回 403 的页面,对爬虫来说是不可见的。服务器日志或爬虫报表会显示每个机器人实际收到了什么。
  4. 确认内容在 HTML 里。 很多爬虫不执行 JavaScript。如果商品描述是在客户端加载的,它们可能读不到。

Robots.txt 是请求,不是锁:RFC 9309 明确写着,这些规则不是一种访问授权。把它当作意图声明,并在日志里核实爬虫的实际行为。

第 2 步:要不要发布 llms.txt?

把它当作可选项,并检查它对你有什么用。llms.txt 提案是在网站根目录放一个名为 llms.txt 的 Markdown 文件,以标题开头,后面是简短摘要和值得读的页面链接。它只是一个提案,不是每个助手都遵循的标准,所以审计要问的不是「我们有没有」,而是「它有没有用,内容准不准确」。

审计要检查:

  • 文件在 /llms.txt 能打开,状态码 200。
  • 它只链接存在且最新的页面。
  • 描述和页面内容一致。
  • 你在日志里查过有没有 AI 爬虫来取它。如果一个都没有,它就是一份无害的文档,不是一个杠杆。

设置方法和取舍见 llms.txt 指南。

第 3 步:哪些爬虫真的在读你的网站?

按运营方和用途统计抓取次数。爬虫各不相同:有的为训练而读,有的为回答问题,有的为搜索。要看的不是机器人流量总数,而是谁在读、为了什么、带回了什么。

示例数据:一个月内的三个 AI 运营方。

运营方用途抓取次数带回的访问抓取到访问的比率每个访问对应的读取数
运营方 A答案引擎18,000900.50%200 : 1
运营方 B答案引擎3,0001505.00%20 : 1
运营方 C训练6,00000.00%没有访问
合计27,0002400.89%112.5 : 1

每个比率都是访问 ÷ 抓取:90 ÷ 18,000 = 0.50%,150 ÷ 3,000 = 5.00%,0 ÷ 6,000 = 0%,240 ÷ 27,000 = 0.89%。「每个访问对应的读取数」那一列方向相反:18,000 ÷ 90 = 200,3,000 ÷ 150 = 20,27,000 ÷ 240 = 112.5。

解读:运营方 A 的读取量是 B 的六倍(18,000 ÷ 3,000),带回的访问却少得多。这是个值得调查的模式(它抓到的页面是不是人们会点的页面?),不要一上来就屏蔽它。运营方 C 是训练爬虫,本来就不指望它带来访客,所以零不算失败。按用途逐个运营方来决定。 还要看站点地图覆盖率:如果站点地图有 400 个网址,AI 爬虫抓过其中 140 个,覆盖率就是 35.0%,没被抓的 260 个页面值得做一次可抓取性检查。

app.tapcub.com

各运营方的抓取到访问比率

访问 ÷ 抓取,一个月
运营方 A(答案引擎)0.50%
运营方 B(答案引擎)5.00%
运营方 C(训练)0.00%
示例数据
示例数据:运营方 A 抓取 18,000 次、带回 90 次访问;B 抓取 3,000 次、带回 150 次。每个访问对应的读取数分别是 200 和 20。C 是训练爬虫,没有访问是意料之中的。

第 4 步:助手实际引用了什么?

这是要抽样的一半。建立一组固定的提问,并按计划去跑。

  1. 写 15 到 25 个问题,是买家真的会问的,分三组:品类问题(「怎么追踪 X」)、对比或评估类问题,以及点名你的问题。
  2. 每次用同样的方式跑,在你的客户会用的助手上、从干净的会话开始,并记下日期。
  3. 每个回答记四件事: 有没有提到你、有没有引用你的页面、描述是否准确,以及引用了哪些其他来源。
  4. 把回答存下来。 助手每次运行的结果会有差异,所以一个回答只是轶事;同一个问题跑十次才是数据。

然后和你自己的数据对照。对每个被引用的页面,打开你的分析,看有没有来自 AI 的真人会话落在上面。被引用却没有访问的页面,可能是引用时没有带链接,或者读了却没有点击。有 AI 访问、却从没出现在你的提问清单里的页面,会告诉你那些你没想到的问题;把它们加进去。

第 5 步:这些访问转化了吗?

访问只是输入,审计要落在目标上。取来自 AI 的真人会话,测量其中到达目标的比例,再和全部会话对比。

示例数据:当月真人会话 12,000 个,其中 240 个来自 AI 助手。目标完成数:240 个 AI 来源会话里有 9 个(3.75%),全部 12,000 个会话里有 300 个(2.5%)。

  • AI 占真人会话的比例:240 ÷ 12,000 = 2.0%。
  • AI 来源的转化率:9 ÷ 240 = 3.75%,整体是 300 ÷ 12,000 = 2.5%。

九次转化太少,下不了任何结论。经验规则:这一组的转化数低于约 30 时,把比率当作方向,不当作结果,再过一个月复查。如果这个比率持续高于整体,说明 AI 带来的访客比它们的占比所显示的更有价值,被引用的页面值得持续维护。

完整的检查清单是什么样?

检查项看什么通过的标准不通过怎么办
robots.txt 能打开/robots.txt 的 HTTP 状态200,不是 5xx先修服务器;打不开的文件会挡住爬虫
逐个爬虫的规则robots.txt 里每个 AI 用户代理有意识地允许或屏蔽按用途决定:搜索、训练、用户触发抓取
关键页面可抓取爬虫收到的状态码对爬虫返回 200检查防火墙和机器人规则
内容在 HTML 里不执行 JavaScript 的页面源码正文都在把重要内容做服务端渲染
llms.txt(可选)/llms.txt 能打开,链接是最新的内容准确,日志里有人来取修好或不要了
爬虫日志按运营方看抓取、状态码、用途能说出谁在读你加上服务端采集
引用按计划跑的提问清单你的页面被引用且描述正确改进那些页面
AI 来源访问来自 AI 来源的真人会话访问到达被引用的页面检查链接和落地页
转化AI 来源会话的目标量够大,能读出结果等待,或把周期拉长

哪些错误会让审计产生误导?

  • 把抓取当成引用。 爬虫抓了一个页面,意味着它被读过,不代表被引用或被推荐。只有提问抽样和 AI 来源的访问,才能说明引用的情况。
  • 因为训练爬虫不带来访客,就把全部屏蔽。 训练和答案引擎是不同的用途;屏蔽一个不必连带屏蔽另一个。
  • 只审计一个助手,就推广到所有助手。 不同助手引用不同的来源。要覆盖你的客户在用的那几个。
  • 相信单一分数。 把抓取权限、提及和情感混在一起的分数,告诉不了你该修什么。要把各项检查分开。
  • 不检查不执行 JavaScript 的爬虫。 只有页面脚本时,你只能看到执行脚本的机器人;其他的需要服务端采集或日志导入。
  • 跑一次就下结论。 助手的结果会随运行和时间变化。要按计划重跑并对比。

在 TapCub 里怎么跑这个审计?

拿上面的示例网站来说,可衡量的那一半这样跑。

  1. 看谁在读你。 打开 网站统计 › 机器人。在 AI 与智能体 页签,AI 内容账本 按运营方列出读取次数(训练爬虫和答案引擎分两列)、带回的真人访客和比值。这个比值是读取 ÷ 访客,就是上面的「每个访问对应的读取数」那一列。
  2. 读可见度闭环。 在 AI 可见性 页签,卡片显示 AI 爬取、AI 带来的访问、抓取→访问比(访问 ÷ 抓取,和账本的方向相反)以及设置了站点地图时的 站点地图覆盖。被引用页面 列出收到 AI 带来访问的落地页。
  3. 数人。 打开 网站统计 › 来源 和它的 AI 来源 页签,它数的是真人会话,不是爬虫请求,口径和 AI 带来的访问 相同。
  4. 细看一个爬虫。 在 全部机器人 里,打开某个爬虫的页面和最常见状态码。规则遵守情况见 监测 › 爬虫合规。
  5. 闭环。 把 AI 来源的会话带到 网站统计 › 目标,和全部会话对比转化。

要清楚限制:只有页面脚本时,TapCub 只能看到执行 JavaScript 的机器人,所以状态码和不执行 JavaScript 的爬虫,需要服务端采集或日志导入。TapCub 统计抓取和访问;它不会替你跑提问清单,也不会记录助手怎么说你,所以第 4 步仍然要手动做。

常见问题

什么是 AI 可见度审计?

一种结构化检查:AI 爬虫能否访问你的内容、AI 助手在被问到相关问题时引用什么,以及这些引用带来多少访问。它是可重复的检查清单,每一项分别通过或不通过,不是单一分数。

怎么检查我的网站对 AI 是否可见?

检查 robots.txt 里每个 AI 爬虫的规则,确认关键页面对爬虫返回 200,查看日志或机器人报表里的爬虫统计,然后在你的客户会用的助手里跑一组固定问题,记录它们引用了什么。

AI 可见度审计多久做一次?

可衡量的检查每月做,因为它们来自你本来就在收集的数据;提问抽样每季度做一次,或在内容有大改动后做。每次都保存下来,方便按时间对比结果。

屏蔽 GPTBot 会让我的网站从 ChatGPT 里消失吗?

据 OpenAI 说明,GPTBot 关系到可能用于训练模型的内容,而 OAI-SearchBot 关系到 ChatGPT 的搜索结果。屏蔽 GPTBot 是训练层面的决定;屏蔽 OAI-SearchBot 会影响你是否出现在 ChatGPT 搜索里。

我需要 llms.txt 吗?

不一定。它只是一个提案,并不是每个助手都在用。如果你发布了,就保持内容准确,并在日志里检查 AI 爬虫是否会来取它。

另见:AI 可见度追踪:该衡量什么、怎么做。

另见:AI 品牌可见度软件:购买前怎么评估。

资料来源

  • OpenAI。Overview of OpenAI crawlers。OAI-SearchBot、GPTBot 和 ChatGPT-User 的用途,以及 robots.txt 如何适用。2026-11-18 核对。
  • M. Koster、G. Illyes、H. Zeller、L. Sassman。RFC 9309: Robots Exclusion Protocol。第 1 节(不是访问授权)和第 2.3.1.4 节(无法访问的 robots.txt)。2026-11-18 核对。
  • Jeremy Howard。The /llms.txt file。llms.txt 提案。2026-11-18 核对。

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

奥利弗·里德

产品体验专员

关注产品易用性、使用路径与功能采用,通过具体场景拆解从首次体验到持续使用的关键环节。

看谁在读你的网站、谁把人带了回来

AI 内容账本、AI 带来的访问、被引用页面和站点地图覆盖,放在一份报表里。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie