TapCub 正式上线:统计、分析、客服一个平台免费用
AI 搜索

llms.txt 怎么写:结构、示例和怎么核实有没有人读

llms.txt 是什么、不是什么,提案定义的结构,一份真实示例,它和 robots.txt 怎么保持一致,以及怎么在服务器日志里核实 AI 爬虫有没有读。

陈屿 发布于 2026 年 9 月 17 日 最后更新 2026 年 11 月 3 日 6 分钟阅读 AI 搜索
演示项目示例。合规页抓取两个文件,并用真实抓取对照 robots.txt 规则;llms.txt 被抓的次数要看你的服务器日志。示例数据

用你自己的数据试一下

这篇文章里出现的报表免费版全都有。一段代码,网站和 App 都能接,最多 10 个站点。

免费开始

llms.txt 是写给语言模型的一份简短网站导读。它很新、自愿遵守,也容易被高估。本文讲提案实际定义了什么、该写什么、一份删减后的真实示例、它和 robots.txt 怎么保持一致,以及怎么从服务器日志核实到底有没有智能体在读。

读完你会知道

  • llms.txt 是挑选,不是权限;Google 说它的 AI 功能不需要它
  • 结构:一个 H1、一段摘要引用块,再加若干附说明的链接小节
  • 在服务器日志里核实:/llms.txt 被抓了几次,抓的页面有多少在清单里

本次更新 · 2026 年 11 月 3 日

按提案重写格式说明,补充 Google 的立场、真实示例和用服务器日志核实的方法;删除不存在的指标。

llms.txt 是什么,不是什么里面写什么它和 robots.txt 的关系核实有没有人读保持更新常见错误常见问题

llms.txt 是什么,不是什么

本节已更新

llms.txt 是放在网站根目录的一个 Markdown 文件,给大语言模型一份简短的、经过挑选的网站导读:用一段话说清你是谁,再列出值得读的页面,每个附一句说明。它由 Jeremy Howard 在 2024 年 9 月提出(llmstxt.org),是社区提案,不是标准,也没有任何强制力。

可以把三个文件放在一起看。sitemap 列出所有页面,给搜索引擎看,不带取舍。robots.txt 管权限:哪些爬虫能抓哪些路径。llms.txt 是挑选,写给一个会把你转述给别人的读者。它不授予也不禁止任何东西:被 robots.txt 屏蔽的爬虫读不到它,被允许的爬虫也可以不理它。

对搜索的作用要看清楚。Google 明确说,想出现在它的 AI 功能里,不需要新建机器可读文件、AI 文本文件或特殊标记(Google 搜索中心)。所以把 llms.txt 当作一份成本很低的保险,留给真正会读它的助手和智能体:写一小时,每季度维护几分钟,效果在自己的日志里核实,而不是靠相信。

里面写什么

本节新增

提案定义的结构很简单,只有第一项是必需的:一个写着网站或项目名称的 H1。之后依次是:一段引用块形式的简短摘要、可选的补充段落,以及若干 H2 小节,每节是一组链接,格式是 Markdown 链接加冒号和说明。名为「Optional」的小节按约定放次要链接,读者上下文不够时可以跳过。

实际写的时候:

  • 摘要放前面。 一段模型可以直接引用的话:你做什么、给谁用,以及别人常搞错的事实(计价货币、你不做什么)。
  • 链接按用途分组。 产品页、文档、价格和政策,再加几篇把常见问题讲清楚的文章。
  • 写说明,不写广告。 助手会引用说明文字,「领先的平台」出现在别人的回答里很难看。写清读者会看到什么。
  • 用带域名的完整网址,指向规范页面,不要指向跳转或带跟踪参数的链接。
  • 要挑选。 十几到几十个链接就够;什么都列,就又变回了 sitemap。

下面是我们发布的文件开头部分,有删减:

它和 robots.txt 的关系

本节已更新

两个文件要一致。llms.txt 里的每个网址,都必须对你希望它读的爬虫开放;一个页面列在 llms.txt 里、却在 robots.txt 里被屏蔽,爬虫的处理方式就是不抓。反过来也一样:给训练爬虫屏蔽掉的页面(用户内容、站内搜索结果、登录后区域)不应出现在 llms.txt 里。下表对比三个文件各自的作用;怎么屏蔽 AI 爬虫一文给了屏蔽训练、放行回答的 robots.txt 写法。

文件给谁看说什么靠什么执行
sitemap.xml搜索引擎这是全部页面和更新时间没有;只是抓取提示
robots.txt所有爬虫哪些爬虫能、不能抓哪些路径爬虫自觉遵守;不遵守的靠服务器规则
llms.txt语言模型和智能体这些页面值得读,附摘要没有;只是挑选后的建议

核实有没有人读

本节新增

「llms.txt 有没有用?」诚实的回答是「看服务器日志」。多数助手抓取时不执行 JavaScript,页面脚本看不到它们,需要服务端记录或导入访问日志。

  1. 确认文件能访问。 TapCub 的爬虫合规页会抓取你的 robots.txt 和 llms.txt,显示每个文件是否存在、有多少条规则或链接、见过几个版本,还能生成一份 llms.txt 草稿,供你修改后发布。
  2. 统计文件被抓了几次。 在访问日志里筛出 GET /llms.txt,按 User-Agent 分组。刚开始一个月有几次来自回答类爬虫的抓取很常见;一个月一次都没有,说明还没人用。
  3. 对比爬虫抓的页面和你列的页面。 接入服务器日志后,抓取健康页会列出每个爬虫抓得多的页面。看其中有多少在你的文件里。发布后这个比例上升,说明文件起了作用;一直不变,就把时间花在别处。

TapCub 不会替你算这个比例;它是表格里十分钟的对比,每次改完文件一个月后再做一次。下面的示例是演示项目里两个文件在合规页上的样子。

app.tapcub.com/sites/demo/bots/compliance

范围内爬虫 · 30 天

23

违规爬虫

2

违规次数

41

爬虫合规 · 声明文件

演示项目
文件状态上次抓取内容见过的版本
robots.txt存在2 小时前18 条规则4
llms.txt存在2 小时前14 个链接3
示例数据
演示项目示例。合规页抓取两个文件,并用真实抓取对照 robots.txt 规则;llms.txt 被抓的次数要看你的服务器日志。

保持更新

本节已更新

llms.txt 和任何目录一样会过时。每季度检查一次;上线新产品页、下线文档或调整价格时也要改。说明要实事求是:如果助手引用了一句关于已下线功能的描述,那是你的文件写的。新文章少量添加,让文件一屏能看完;在开头注明上次检查的日期。

如果网站有多种语言,每条说明用它指向的页面的语言来写;每种语言的重点页面各放一个小节,或者在每个语言目录下各放一个文件。每次修改后到合规页看一眼,确认线上的文件就是你想发布的那份。

常见错误

本节已更新

我们反复看到的五种:

  • 把所有页面都列上,成了第二个 sitemap。
  • 用相对网址,或者网址会跳转、带跟踪参数。
  • 说明写成口号,而不是摘要。
  • 列出的页面恰好被 robots.txt 对你想吸引的爬虫屏蔽了。
  • 发布后从没看过日志,就断定它没用。

一小时写好,一个月后核实,再调整。看日志时,可以用 AI 爬虫查询工具查某个 User-Agent 属于哪家、用来做什么。

常见问题

本节新增

llms.txt 是什么?

放在网站根目录的 Markdown 文件,2024 年提出,给语言模型一段网站摘要和一份附说明的重点页面清单。它是自愿的,不授予也不禁止任何抓取。

Google 会用 llms.txt 吗?

Google 表示,出现在它的 AI 功能里不需要 AI 文本文件或特殊标记,常规 SEO 做法就适用。llms.txt 写给真正会读它的助手和智能体,并在日志里核实。

llms.txt 和 robots.txt 有什么区别?

robots.txt 规定哪些爬虫能抓哪些路径;llms.txt 建议哪些页面值得读。两者要一致:不要在 llms.txt 里列出 robots.txt 对目标爬虫屏蔽的页面。

怎么知道 AI 爬虫有没有读我的 llms.txt?

在服务器访问日志里找对 /llms.txt 的 GET 请求,按 User-Agent 分组,再对比每个爬虫抓的页面和文件里列的页面。页面脚本看不到大多数 AI 抓取。

还需要 llms-full.txt 吗?

不是必需的。llms-full.txt 把页面全文放进一个文件,一些文档站会发布。先写一份简短的 llms.txt;只有文档经常被智能体读取时,再考虑完整版。

另见:AI 可见性。

另见:CCBot:Common Crawl 的数据集爬虫,屏蔽它到底改变什么。

另见:AI 可见度审计:可以反复做的五步检查清单。

更新记录1
  1. 大改按提案重写格式说明,补充 Google 的立场、真实示例和用服务器日志核实的方法;删除不存在的指标。
  2. 首次发布

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

陈屿

技术工程师

专注统计代码、SDK 与接口集成文档,从接入验证到问题排查,帮助开发者更顺畅地完成实施。

用真实抓取核对两个文件

爬虫合规页抓取 robots.txt 和 llms.txt,记录违规并生成规则草稿。接入服务器日志,看到所有 AI 抓取。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie