免费工具 AI 可见度检查:AI 爬虫能进来、能读懂你的网站吗?
ChatGPT、Claude、Perplexity 要引用一个页面,前提是它们的爬虫被允许进来、拿到真实的页面、读得到文字。填一个网站,工具检查决定这件事的八个方面——robots.txt 规则、页面对 GPTBot / ClaudeBot / PerplexityBot 返回什么、服务器直出的正文、结构化数据、摘要限制、llms.txt、响应速度和 sitemap——按公开的 100 分制打分。
- 0–100 分,规则公开
- 用 3 种 AI 爬虫身份抓取
- 每次检查 7 个请求
检查网站的 AI 可见度
填域名或页面地址。robots.txt、llms.txt 和 sitemap 从网站根目录读取,页面本身会用四种身份各抓一次。点「检查」之前,下面是标了日期的示例结果。
check.tapcub.com,由它从 Cloudflare 网络去请求这些页面(请求头带 From: tools@tapcub.com),再把状态码和本工具要用的那部分页面内容返回。检查服务只为限流记录主机名、状态码和耗时,不记路径、查询参数和页面内容,也不保存结果。一次检查用 7 个请求:robots.txt、llms.txt、分别以 Chrome、GPTBot、ClaudeBot、PerplexityBot 身份抓页面,以及 sitemap。每个 IP 每分钟最多 10 个请求、每天 200 个,两次检查之间请隔一分钟。例如 example.com 或 https://example.com/pricing。
AI 可见度得分
67
满分 100,各项得分和规则见下面。
分项
-
robots.txt 允许 AI 搜索爬虫20 / 20
- 6 个 AI 搜索 / 用户触发类爬虫(OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User)都允许抓取这个页面。
- 训练类爬虫(GPTBot、ClaudeBot、Google-Extended 等)也没有被禁止。要不要禁止是另一回事,不影响本项得分。
-
AI 爬虫实际能拿到页面13 / 20
- GPTBot 被拒绝(403)。
- 这些请求来自 Cloudflare 网络,不是各家爬虫公布的 IP 段。按 IP 放行爬虫的网站,真爬虫可能进得来;按 User-Agent 拦截的网站,真爬虫一样会被拦。
-
不靠 JavaScript 也能读到正文17 / 20
- 服务器返回的 HTML 里有 962 字正文。
- HTML 里没有 <h1> 标题。
-
结构化数据(JSON-LD)0 / 15
- 页面没有 JSON-LD。用 Organization、WebSite、Article、Product 等标记写明的信息,机器读起来更可靠。
-
没有限制摘要或收录10 / 10
- meta robots 和 X-Robots-Tag 里没有 noindex、nosnippet 或 max-snippet:0。
-
llms.txt0 / 5
- 没有 llms.txt(404)。
- llms.txt 还只是一个提案,没有主要 AI 公司公开表示自己的爬虫会读它,所以只占 5 分。
-
响应时间3 / 5
- 页面 1.2 秒返回,1 秒以内更好。
-
sitemap4 / 5
- 在 https://www.woshipm.com/sitemap.xml 找到了 sitemap,但 robots.txt 里没有声明。建议在 robots.txt 里加一行「Sitemap: 网址」。
分享这组输入:数值写在链接的 # 后面,不会发到服务器。
https://tapcub.com/zh/tools/ai-readiness-checker
版本 v1.0更新于 更新记录
这个分数说明什么、不说明什么
分数衡量的是「能不能访问、读不读得懂」,无法预测 AI 助手会不会引用你。
80–100:开放且可读
AI 搜索爬虫被允许、拿得到页面,能读到正文、标题和结构化数据。之后会不会被引用,取决于内容本身和各家助手自己的排序。
50–79:部分被拦或内容太少
通常有一个明显的短板:防火墙拦了爬虫的 User-Agent、页面全靠 JavaScript 渲染,或者 robots.txt 禁止了搜索爬虫。先修得分最低的那一项。
50 以下:基本看不见
AI 爬虫被禁止、被验证页拦住,或者只拿到一个空壳。AI 助手也许还能从别的来源提到你,但读不到这个页面。
训练和回答是两回事
禁止 GPTBot、ClaudeBot(训练)是正当选择,不扣分;禁止 OAI-SearchBot、Claude-SearchBot、PerplexityBot(搜索和回答)才会扣分。国内大模型的爬虫多数没有公开 robots.txt 标识,暂不计入。
结果是从 Cloudflare 网络看到的一次快照。真实爬虫来自各自的 IP 段,你的防火墙可能区别对待;响应时间也取决于请求从哪里发出。
三步
不用注册。一次检查 7 个请求,大约 10 秒。
-
1
填网站地址
填域名检查首页;填具体网址可以检查重要页面,比如价格页、文档页或流量最高的文章。
-
2
看分项
八个分项各自显示得分、发现了什么,以及深入检查用的工具链接。
-
3
先补最大的短板
先看 robots.txt 和爬虫实际访问(合计 40 分),再看服务器直出的正文。llms.txt 和速度分值很小。
八个分项、100 分,规则全部公开
权重按「爬虫能不能拿到可用的内容」来定,下面每一条规则都按原样执行。
- robots.txt(20 分):6 个 AI 搜索 / 用户触发类爬虫里被允许抓取该页面的比例,按 RFC 9309 判定。没有 robots.txt(4xx)算允许,取不到(5xx)算禁止
- 爬虫实际访问(20 分):分别以 GPTBot、ClaudeBot、PerplexityBot 身份抓取页面;返回 2xx、不是验证页、正文不少于浏览器版一半的,每个得三分之一
- 可读正文(20 分):服务器 HTML 里正文 300 字以上 15 分、100–299 字 8 分;有
<title>2 分;有<h1>3 分(汉字每字算 1,英文按词) - 结构化数据(15 分):有带 @type 的有效 JSON-LD 15 分,有效但没有 @type 10 分,只有无效的 3 分
- 摘要限制(10 分):noindex 或 none 0 分,nosnippet 或 max-snippet:0 3 分,其余 10 分
- llms.txt(5 分):有效 5 分,有错误 2 分。响应时间(5 分):1 秒内 5 分,2.5 秒内 3 分,更慢 1 分。sitemap(5 分):robots.txt 声明且能访问 5 分,只在 /sitemap.xml 4 分,声明了但打不开 1 分
| 爬虫 | 运营方 | 用途 | 是否计分 |
|---|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT 搜索结果 | 计分 |
| ChatGPT-User | OpenAI | 用户提问时实时抓取 | 计分 |
| Claude-SearchBot / Claude-User | Anthropic | 搜索 / 用户请求 | 计分 |
| PerplexityBot / Perplexity-User | Perplexity | 搜索 / 用户请求 | 计分 |
| GPTBot、ClaudeBot | OpenAI、Anthropic | 模型训练 | 只显示,不计分 |
| Google-Extended、Applebot-Extended、CCBot、Bytespider 等 | 多家 | 训练 | 只显示,不计分 |
人人都是产品经理,2026-11-17 检查
上面的默认结果:robots.txt 没有限制 AI 爬虫,正文是服务器直出的,但防护规则拦了其中一个爬虫身份,也没有结构化数据。
| 分项 | 得分 | 原因 |
|---|---|---|
| robots.txt | 20 / 20 | 6 个搜索和用户触发类爬虫都允许,训练类爬虫也没有禁止 |
| 爬虫实际访问 | 13 / 20 | GPTBot 身份的请求被返回 403,ClaudeBot 和 PerplexityBot 拿到了和浏览器一样的页面 |
| 可读正文 | 17 / 20 | 服务器 HTML 里有近千字正文和标题,但没有 <h1> |
| 结构化数据 | 0 / 15 | 首页没有 JSON-LD |
| 摘要限制、llms.txt、速度、sitemap | 17 / 25 | 没有摘要限制;没有 llms.txt;1.2 秒;/sitemap.xml 能打开但 robots.txt 没有声明 |
合计 67 分。403 是我们从 Cloudflare 网络发出的请求得到的,来自 OpenAI 自己 IP 段的真 GPTBot 也许会被放行,这正是值得去服务器日志里核实的地方。
网站为什么在 AI 搜索里「隐身」
大多数情况是为别的目的做的设置带来的副作用。
默认开着的防爬虫
CDN 和防火墙的「拦截 AI 爬虫」开关,常常把搜索爬虫和训练爬虫一起拦了。想被引用的搜索爬虫,要按名字单独放行。
一条规则拦所有 AI
为了不被拿去训练而拦掉所有 AI 的 User-Agent,也会让你从 ChatGPT 搜索和 Perplexity 的回答里消失。运营方把这两类爬虫分开,就是为了让你分别设置。
正文要等 JavaScript 执行
大多数 AI 爬虫只读服务器发来的 HTML。纯前端渲染的页面,它们拿到的只有标题和一个空的 div。
指望 llms.txt 解决问题
llms.txt 还只是提案,主要爬虫都没有确认会读。能访问、HTML 里有正文,重要得多。
看哪些 AI 爬虫真的来了、AI 又带回了多少访客
检查只能说明爬虫进不进得来。TapCub 能告诉你它们有没有真的来,以及 AI 助手有没有给你带来访客。
怎么检查 AI 爬虫能不能访问我的网站?
在上面填域名,点「检查」。工具会读取 robots.txt 里对 AI 搜索爬虫的规则,再分别以 GPTBot、ClaudeBot、PerplexityBot 身份抓取页面,和浏览器拿到的内容对比。
禁止 GPTBot 会让我从 ChatGPT 里消失吗?
按 OpenAI 的说明,不会影响 ChatGPT 搜索:GPTBot 用于训练,搜索结果用的是 OAI-SearchBot,两者分别设置。所以本工具只给搜索类爬虫计分,训练类只做提示。
robots.txt 明明允许了,为什么显示 GPTBot 被拦?
robots.txt 只是「请求」,防火墙或 CDN 的规则照样可以拒绝某个 User-Agent。「爬虫实际访问」显示的是服务器真正返回了什么。请求来自 Cloudflare 网络,如果你的放行规则是按真爬虫的 IP 设置的,结果可能不同。
分数高就一定会被 AI 引用吗?
没有哪个分数能保证这一点。分数高说明爬虫进得来、读得懂;会不会被引用,取决于用户的问题、你的内容和各家助手自己的排序。
一定要做 llms.txt 吗?
不是必须的。llms.txt 只是一个提案格式,主要 AI 公司都没有表示自己的爬虫会读它,所以在这里只占 100 分里的 5 分。robots 规则和可读的 HTML 重要得多。
国内的 AI 助手(文心、通义、豆包、Kimi)也能这样检查吗?
它们的爬虫多数没有公开的 robots.txt 标识和说明文档,没法用同样的规则判断,所以暂不计分。它们带来的访客可以在统计里看到:TapCub 会把来自 Kimi、豆包、文心、通义、DeepSeek 等 AI 助手的访问单独归类。
多久检查一次比较合适?
改了 robots.txt、CDN 或防火墙设置,或者换成 JavaScript 框架之后查一次。平时看统计或日志里的爬虫访问,比反复检查更有用。