免费工具 noindex 检查:这个网页 Google 能不能收录?
填一个网址,工具按 Googlebot 或 Bingbot 的身份去抓,再读这个网站的 robots.txt,把决定收录的信号逐个看一遍:状态码、跳转、meta robots 和 googlebot 标签、X-Robots-Tag 响应头、canonical。先给一句话结论,下面列出依据。
- 以爬虫身份抓取
- meta、响应头、robots.txt
- 经 check.tapcub.com
检查一个网址能否被收录
填网址、选爬虫、点「检查」。一次检查发 2–3 个请求:网页本身,再加 robots.txt(跳转到别的域名时再多一个)。
check.tapcub.com(TapCub 部署在 Cloudflare Workers 上的服务),由它从 Cloudflare 的网络去抓这个网页(8 秒超时、最多跟 5 次跳转、正文取前 512 KB),请求里带 From: tools@tapcub.com 表明来源,再把响应原样交回你的浏览器,所有分析都在浏览器里做。抓完网页还会抓同一主机的 /robots.txt;跳转换了主机时,最终主机的 robots.txt 也抓一份。请求带所选爬虫的 UA 字符串,但来自 Cloudflare 的 IP,按 IP 核验爬虫的网站会把它当普通访客。它不保存网页内容,日志只记域名、状态码和耗时,不记完整网址。额度:每个 IP 每分钟 10 次、每天 200 次。完整网址或只写域名和路径,没写 https:// 会自动补上。
决定请求用哪个 UA、robots.txt 按哪一组规则匹配、哪种 meta name 生效(googlebot 或 bingbot)。
结论
能。页面上没有任何东西阻止 Googlebot 收录。实际收不收录,还要看搜索引擎自己对质量和重复内容的判断。
依据这次请求拿到的响应。没有任何阻止,也不等于一定会被收录。
检查项
有问题的排在前面。
- 通过robots.txt 允许 Googlebot 抓这个网址。
- 通过HTTP 200:页面正常打开。
- 通过meta 标签和 X-Robots-Tag 响应头里都没有针对 Googlebot 的 noindex。
- 通过canonical 指向本页自己。
找到的信号
每个可能影响收录的信号、出处和作用。
| 信号 | 找到的内容 | 作用 |
|---|---|---|
| robots.txt | Allow: / | 允许收录 |
| 状态码 | 200 | 允许收录 |
| meta robots | <meta name="robots" content="max-image-preview:large"> | 允许收录 |
| canonical | https://tapcub.com/zh/tools/utm | 允许收录 |
跳转
请求经过的每一跳。
# https://tapcub.com/robots.txt
Allow: / # line 2对这个爬虫匹配最长的 Allow / Disallow 行(RFC 9309)。
分享这组输入:数值写在链接的 # 后面,不会发到服务器。
https://tapcub.com/zh/tools/noindex-checker
版本 v1.0更新于 更新记录
结论是怎么得出来的
按搜索引擎遇到这些信号的顺序逐个看,先遇到的阻止项说了算。
1. robots.txt
禁止抓取时,爬虫根本不下载页面,页面上的一切都不算数,包括 noindex。有外部链接的话,搜索结果里仍可能出现一个没有摘要的网址。
2. 状态码和跳转
只有返回 200 的页面能被收录。跳转把爬虫带到另一个网址,被收录的是目标页。
3. noindex
写在 <meta name="robots">、googlebot 标签里,或者 X-Robots-Tag 响应头里。任何一处有就生效,规则冲突时取更严格的。
4. canonical
指向别的网址是强信号,不是命令。页面本身可以收录,但 Google 一般在结果里展示 canonical 那个地址。
结论是「能」只说明没有任何阻止,不说明已经收录:Google 还会看内容质量、是否重复、抓取预算。实际收录状态以 Search Console 的「网址检查」为准。
三步查一个网址
网站改版、换 CMS 之后,或者某个页面突然搜不到了,用它排查。
-
1
填网址
填你希望被收录的那个确切地址,结尾斜杠、参数都要一致。
-
2
选爬虫
多数网站 Google 用手机版 Googlebot 抓取。查 Bing 就选 Bingbot——不同爬虫的 meta name 和 robots.txt 分组不一样。
-
3
点检查
先按所选爬虫的 UA 抓网页,再抓 robots.txt。最上面是结论,下面是每个信号和起决定作用的 robots.txt 规则。
-
4
改完再查
去掉 noindex、改 robots.txt 或 canonical 之后再查一次,然后在 Search Console 里用「网址检查」请求重新抓取。
收录规则可以写在哪里
Google 从三个地方读收录规则,其中 robots.txt 决定它能不能读到另外两个。
<meta name="robots" content="noindex">对所有爬虫生效;name="googlebot"、name="bingbot"只对对应爬虫生效。写在 body 里的 robots meta,Google 也认- HTTP 响应头
X-Robots-Tag: noindex;加前缀如googlebot: noindex只对一个爬虫生效。PDF、图片也能用 none等于noindex, nofollow;unavailable_after的日期过了就等同 noindex- robots.txt 按 RFC 9309 匹配:先找最具体的 User-agent 组,再取匹配最长的路径,一样长时 Allow 优先
| 你的设置 | 实际效果 | 怎么改 |
|---|---|---|
| noindex + robots.txt Disallow | noindex 永远读不到,网址可能一直留在结果里 | 先放开抓取,等页面掉出索引后再屏蔽 |
| noindex + canonical 指向别页 | 信号矛盾,Google 不建议用 noindex 处理规范化 | 只留 canonical |
| 200 + canonical 指向自己 | 可以收录 | 不用改 |
| 301 跳到 noindex 页 | 两个网址都不会被收录 | 跳到可收录的页面 |
| robots.txt 返回 503 | Google 暂停抓取整个网站 | 让 robots.txt 返回 200 或 404 |
示例:本站的一个页面
默认结果是 2026-11-17 以 Googlebot 手机版身份抓的 https://tapcub.com/zh/tools/utm,以及 tapcub.com/robots.txt。
| 信号 | 找到的内容 | 解读 |
|---|---|---|
| robots.txt | User-agent: * / Allow: / | 允许抓取 |
| 状态码 | 200 | 页面正常 |
| meta robots | max-image-preview:large | 展示设置,不是阻止 |
| X-Robots-Tag | 没有 | — |
| canonical | https://tapcub.com/zh/tools/utm | 指向自己 |
| 结论 | 能 | 没有任何阻止 |
换一个你故意不让收录的网址(比如提交成功页)试试,就能看到 noindex 的结论。
页面是怎么被意外挡在索引外的
多数是开发阶段留下的设置,或者本来给别的用途写的规则。
测试环境的设置带上了线
CMS 里「阻止搜索引擎」的开关、服务器配置里全局的 noindex 响应头、robots.txt 的 Disallow: /,跟着网站一起上线了。
想删的页面又用 robots.txt 屏蔽
页面加了 noindex 又加 Disallow,noindex 就读不到了。Google 会留着这个网址,显示成没有摘要的结果。
跳转到了错误的地方
旧网址跳到 noindex 或 404 的页面,结果两个地址都不被收录。
canonical 从模板里抄来
每个页面都把首页或分类第一页写成 canonical,Google 就把它们都合并成了一个。
看爬虫到底来没来
能收录只是第一步。TapCub 告诉你搜索引擎和 AI 爬虫有没有来抓这个页面,搜索有没有带来访客。
怎么查一个页面有没有设置 noindex?
在上面填网址、点「检查」。工具以 Googlebot 身份抓页面,读 meta robots、googlebot 标签和 X-Robots-Tag 响应头,同时查 robots.txt、跳转和 canonical,第一行就告诉你有没有东西阻止收录。
noindex 和 robots.txt 的 Disallow 有什么区别?
noindex(meta 标签或响应头)允许爬虫抓页面,但要求不在结果里展示;Disallow 让爬虫根本不抓页面,所以也看不到 noindex,如果有别的页面链接它,网址仍可能出现在结果里。
显示「能收录」,为什么 Google 里还是搜不到?
页面上没有阻止项,但 Google 可能还没来抓、认为它和别的网址重复,或者觉得内容价值不够。具体原因看 Search Console 的「网址检查」。
用 JavaScript 加的 noindex 能查出来吗?
查不出来。工具读的是服务器返回的 HTML 和响应头,不执行脚本。Google 的 JavaScript SEO 文档说,渲染前就看到 noindex 的页面不会被渲染和收录,所以靠脚本后来去掉 noindex 没用。收录规则应该写在服务器响应里。
canonical 指向别的网址,等于 noindex 吗?
不等于。canonical 是强信号,表示另一个网址才是应该收录的版本,Google 一般收录那个;noindex 是规则,明确不让这一页出现在结果里。
百度也是这样判断的吗?
不完全一样。百度主要靠 robots.txt;它对 robots meta 各个取值和 X-Robots-Tag 的支持,公开文档写得和 Google 不同、也不完整,所以这里的爬虫选项只有 Google 和 Bing,结论不能直接套到百度上。百度的收录情况以百度搜索资源平台为准。
对方网站会知道这是 TapCub 在查吗?
会。请求带所选爬虫的 UA,同时带 From: tools@tapcub.com 请求头,而且来自 Cloudflare 的网络,不是 Google 的 IP 段。用反查 DNS 核验爬虫的网站会把它当普通访客,返回的内容可能因此不同。