一句话回答
AI 爬虫是 AI 公司运营的自动程序，为模型训练、AI 搜索的实时回答，或替用户办事的 AI 代理请求网页。
三类 AI 爬虫
“AI 爬虫”这个词里，装着对网站影响很不一样的几类机器人：
- 训练爬虫——批量收集网页，用来训练以后的模型，不会给你带回访问。
- AI 搜索抓取——用户提问时去抓页面，在回答里引用或总结，常常附带链接。
- AI 代理——替某一个用户浏览网页：比价、填表、读文档。
多数 AI 公司给不同用途用不同的 User-Agent，所以可以放行一类、屏蔽另一类。
robots.txt 和 llms.txt
robots.txt 是告诉爬虫能抓什么的标准做法。可以按名字单独写 AI 爬虫的规则，比如禁止某家公司的训练爬虫，但放行它的搜索抓取。它是请求，不是强制：守规矩的爬虫会遵守，别的不会。
llms.txt 是一种较新的非正式约定：放在网站根目录的一个 Markdown 文件，告诉 AI 系统哪些页面最能说明你的产品。它不授予也不拒绝访问，只是一份推荐阅读清单。
为什么要测
AI 爬虫的影响有两面。训练爬虫消耗带宽和内容，却没有直接回报；AI 搜索抓取决定了别人问 AI 助手关于你这个行业的问题时，你的页面会不会被引用。测量能回答几个实际问题：
- 哪些 AI 公司在抓你的网站，多频繁？
- 它们读的是哪些页面——文档、价格还是博客？
- 它们有没有遵守你在 robots.txt 里定的规则？
- AI 搜索的抓取，有没有变成从 AI 助手过来的访问？
在 TapCub 里怎么看 AI 爬虫
TapCub 的机器人识别会给每个 AI 爬虫标上运营方和用途——AI 训练、AI 搜索或 AI 代理——并且不计入真人数据。它们有自己的台账（AI 内容台账），显示哪个机器人在什么时间抓了哪些页面。
规则方面，TapCub 会给你的 robots.txt 和 llms.txt 拍快照，把实际抓取记录和 robots.txt 规则逐条比对，按天统计违规次数，并附上对应的规则行作为证据。另一面，真人从 AI 助手点过来的访问会归到“AI 助手”渠道，可以看出“被读到”有没有变成“被访问”。想知道你的 robots.txt 对各个 AI 爬虫放行了什么，可以贴进免费的 AI 爬虫 robots.txt 检查工具。
要屏蔽哪些 AI 爬虫、robots.txt 怎么写，见怎么屏蔽 AI 爬虫；想告诉它们该读哪些页，见llms.txt 怎么写。
常见误区
- 名字里带 AI 的一律屏蔽。把搜索抓取也挡了，可能会从 AI 回答里消失，对训练却几乎没影响。
- 以为 robots.txt 会被强制执行。每个机器人守不守规矩，要测了才知道。
- 把 AI 抓取算成访客。不分开的话，流量虚高、转化率被拉低。
- 写了 llms.txt 就不管了。它指向的页面应该是最新、准确的。
延伸阅读：GPTBot、ClaudeBot和robots.txt 禁止所有爬虫。
相关阅读
这个解释清楚吗？
我们会根据反馈修改和补充这篇内容。
提交没有成功，请稍后再试。
谢谢你的反馈，我们会据此改进这篇内容。你已经反馈过这篇了，谢谢。
