TapCub 正式上线:统计、分析、客服一个平台免费用

免费工具 noindex 检查:这个网页 Google 能不能收录?

填一个网址,工具按 Googlebot 或 Bingbot 的身份去抓,再读这个网站的 robots.txt,把决定收录的信号逐个看一遍:状态码、跳转、meta robots 和 googlebot 标签、X-Robots-Tag 响应头、canonical。先给一句话结论,下面列出依据。

  • 以爬虫身份抓取
  • meta、响应头、robots.txt
  • 经 check.tapcub.com

检查一个网址能否被收录

填网址、选爬虫、点「检查」。一次检查发 2–3 个请求:网页本身,再加 robots.txt(跳转到别的域名时再多一个)。

检查
会发什么、发给谁。打开本页时不发任何请求,下面是注明日期的示例。点检查后,你的浏览器把网址发给 check.tapcub.com(TapCub 部署在 Cloudflare Workers 上的服务),由它从 Cloudflare 的网络去抓这个网页(8 秒超时、最多跟 5 次跳转、正文取前 512 KB),请求里带 From: tools@tapcub.com 表明来源,再把响应原样交回你的浏览器,所有分析都在浏览器里做。抓完网页还会抓同一主机的 /robots.txt;跳转换了主机时,最终主机的 robots.txt 也抓一份。请求带所选爬虫的 UA 字符串,但来自 Cloudflare 的 IP,按 IP 核验爬虫的网站会把它当普通访客。它不保存网页内容,日志只记域名、状态码和耗时,不记完整网址。额度:每个 IP 每分钟 10 次、每天 200 次。

完整网址或只写域名和路径,没写 https:// 会自动补上。

决定请求用哪个 UA、robots.txt 按哪一组规则匹配、哪种 meta name 生效(googlebot 或 bingbot)。

示例结果:https://tapcub.com/zh/tools/utm,2026-11-17 制作本页时抓取。点「检查」获取实时结果。

结论

能。页面上没有任何东西阻止 Googlebot 收录。实际收不收录,还要看搜索引擎自己对质量和重复内容的判断。

依据这次请求拿到的响应。没有任何阻止,也不等于一定会被收录。

检查项

有问题的排在前面。

  • 通过robots.txt 允许 Googlebot 抓这个网址。
  • 通过HTTP 200:页面正常打开。
  • 通过meta 标签和 X-Robots-Tag 响应头里都没有针对 Googlebot 的 noindex。
  • 通过canonical 指向本页自己。

找到的信号

每个可能影响收录的信号、出处和作用。

信号找到的内容作用
robots.txtAllow: /允许收录
状态码200允许收录
meta robots<meta name="robots" content="max-image-preview:large">允许收录
canonicalhttps://tapcub.com/zh/tools/utm允许收录
起决定作用的 robots.txt 规则
# https://tapcub.com/robots.txt
Allow: /   # line 2

对这个爬虫匹配最长的 Allow / Disallow 行(RFC 9309)。

解析和所有检查都在你的浏览器里完成。唯一经手的服务器是 check.tapcub.com,只在你点「检查」时去抓你填的网址。粘贴的 HTML 不会发到任何地方。分享链接里只有网址,没有网页内容。

分享这组输入:数值写在链接的 # 后面,不会发到服务器。

版本 v1.0更新于 更新记录

结果怎么看

结论是怎么得出来的

按搜索引擎遇到这些信号的顺序逐个看,先遇到的阻止项说了算。

1. robots.txt

禁止抓取时,爬虫根本不下载页面,页面上的一切都不算数,包括 noindex。有外部链接的话,搜索结果里仍可能出现一个没有摘要的网址。

2. 状态码和跳转

只有返回 200 的页面能被收录。跳转把爬虫带到另一个网址,被收录的是目标页。

3. noindex

写在 <meta name="robots">、googlebot 标签里,或者 X-Robots-Tag 响应头里。任何一处有就生效,规则冲突时取更严格的。

4. canonical

指向别的网址是强信号,不是命令。页面本身可以收录,但 Google 一般在结果里展示 canonical 那个地址。

结论是「能」只说明没有任何阻止,不说明已经收录:Google 还会看内容质量、是否重复、抓取预算。实际收录状态以 Search Console 的「网址检查」为准。

怎么用

三步查一个网址

网站改版、换 CMS 之后,或者某个页面突然搜不到了,用它排查。

  1. 1

    填网址

    填你希望被收录的那个确切地址,结尾斜杠、参数都要一致。

  2. 2

    选爬虫

    多数网站 Google 用手机版 Googlebot 抓取。查 Bing 就选 Bingbot——不同爬虫的 meta name 和 robots.txt 分组不一样。

  3. 3

    点检查

    先按所选爬虫的 UA 抓网页,再抓 robots.txt。最上面是结论,下面是每个信号和起决定作用的 robots.txt 规则。

  4. 4

    改完再查

    去掉 noindex、改 robots.txt 或 canonical 之后再查一次,然后在 Search Console 里用「网址检查」请求重新抓取。

规则

收录规则可以写在哪里

Google 从三个地方读收录规则,其中 robots.txt 决定它能不能读到另外两个。

  • <meta name="robots" content="noindex"> 对所有爬虫生效;name="googlebot"、name="bingbot" 只对对应爬虫生效。写在 body 里的 robots meta,Google 也认
  • HTTP 响应头 X-Robots-Tag: noindex;加前缀如 googlebot: noindex 只对一个爬虫生效。PDF、图片也能用
  • none 等于 noindex, nofollow;unavailable_after 的日期过了就等同 noindex
  • robots.txt 按 RFC 9309 匹配:先找最具体的 User-agent 组,再取匹配最长的路径,一样长时 Allow 优先
常见组合
你的设置实际效果怎么改
noindex + robots.txt Disallownoindex 永远读不到,网址可能一直留在结果里先放开抓取,等页面掉出索引后再屏蔽
noindex + canonical 指向别页信号矛盾,Google 不建议用 noindex 处理规范化只留 canonical
200 + canonical 指向自己可以收录不用改
301 跳到 noindex 页两个网址都不会被收录跳到可收录的页面
robots.txt 返回 503Google 暂停抓取整个网站让 robots.txt 返回 200 或 404
例子

示例:本站的一个页面

默认结果是 2026-11-17 以 Googlebot 手机版身份抓的 https://tapcub.com/zh/tools/utm,以及 tapcub.com/robots.txt。

信号与结论
信号找到的内容解读
robots.txtUser-agent: * / Allow: /允许抓取
状态码200页面正常
meta robotsmax-image-preview:large展示设置,不是阻止
X-Robots-Tag没有—
canonicalhttps://tapcub.com/zh/tools/utm指向自己
结论能没有任何阻止

换一个你故意不让收录的网址(比如提交成功页)试试,就能看到 noindex 的结论。

常见错误

页面是怎么被意外挡在索引外的

多数是开发阶段留下的设置,或者本来给别的用途写的规则。

测试环境的设置带上了线

CMS 里「阻止搜索引擎」的开关、服务器配置里全局的 noindex 响应头、robots.txt 的 Disallow: /,跟着网站一起上线了。

想删的页面又用 robots.txt 屏蔽

页面加了 noindex 又加 Disallow,noindex 就读不到了。Google 会留着这个网址,显示成没有摘要的结果。

跳转到了错误的地方

旧网址跳到 noindex 或 404 的页面,结果两个地址都不被收录。

canonical 从模板里抄来

每个页面都把首页或分类第一页写成 canonical,Google 就把它们都合并成了一个。

常见问题

noindex 检查常见问题

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

怎么查一个页面有没有设置 noindex?

在上面填网址、点「检查」。工具以 Googlebot 身份抓页面,读 meta robots、googlebot 标签和 X-Robots-Tag 响应头,同时查 robots.txt、跳转和 canonical,第一行就告诉你有没有东西阻止收录。

noindex 和 robots.txt 的 Disallow 有什么区别?

noindex(meta 标签或响应头)允许爬虫抓页面,但要求不在结果里展示;Disallow 让爬虫根本不抓页面,所以也看不到 noindex,如果有别的页面链接它,网址仍可能出现在结果里。

显示「能收录」,为什么 Google 里还是搜不到?

页面上没有阻止项,但 Google 可能还没来抓、认为它和别的网址重复,或者觉得内容价值不够。具体原因看 Search Console 的「网址检查」。

用 JavaScript 加的 noindex 能查出来吗?

查不出来。工具读的是服务器返回的 HTML 和响应头,不执行脚本。Google 的 JavaScript SEO 文档说,渲染前就看到 noindex 的页面不会被渲染和收录,所以靠脚本后来去掉 noindex 没用。收录规则应该写在服务器响应里。

canonical 指向别的网址,等于 noindex 吗?

不等于。canonical 是强信号,表示另一个网址才是应该收录的版本,Google 一般收录那个;noindex 是规则,明确不让这一页出现在结果里。

百度也是这样判断的吗?

不完全一样。百度主要靠 robots.txt;它对 robots meta 各个取值和 X-Robots-Tag 的支持,公开文档写得和 Google 不同、也不完整,所以这里的爬虫选项只有 Google 和 Bing,结论不能直接套到百度上。百度的收录情况以百度搜索资源平台为准。

对方网站会知道这是 TapCub 在查吗?

会。请求带所选爬虫的 UA,同时带 From: tools@tapcub.com 请求头,而且来自 Cloudflare 的网络,不是 Google 的 IP 段。用反查 DNS 核验爬虫的网站会把它当普通访客,返回的内容可能因此不同。

更新记录

更新记录

这个工具的新功能、修复和数据更新,最新的在前。

  1. · v1.0

    首次上线首次上线。

这个工具用到的数据

  • 从 tapcub.com 抓取的示例页面 — 核对于 2026-11-17,每 3 个月复核(2027-02-17 前复核)

缺功能或发现错误?告诉我们,常被提到的会排进下次更新。 全部工具更新

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie