可索引性：是什么、什么会阻止它、怎么审查

什么是可索引性？

可索引性（Indexability）指搜索引擎抓取页面之后，能不能、被不被允许把它加入索引。可索引的页面返回成功的状态码，没有被 noindex 指令排除，规范链接（canonical）没有指向别的 URL，内容能被搜索引擎渲染出来，而且被认为值得保留。

只有被索引的页面才能获得排名。写得再好、但不可索引的页面，自然搜索流量就是零。

可抓取性和可索引性

两者是同一条流程里的不同步骤，页面在哪一步都可能卡住：

有一点容易搞错：robots.txt 控制的是抓取，不是索引。被 robots.txt 禁止的 URL，如果有其他页面链向它，仍可能出现在结果里（没有摘要）；而被 robots.txt 拦住的页面上的 noindex 标签，搜索引擎根本看不到。想让页面不进索引，要允许抓取并使用 noindex，见robots.txt 全部禁止和 X-Robots-Tag。

哪些情况让页面不可索引

计算示例：审查一个网站的可索引性

某网站在站点地图里提交了 1,200 个 URL。抓取工具加 Search Console 的网页索引报告显示（示例数据）：

站点地图里应该只放规范的、返回 200、可索引的 URL。这里 1,200 条里有 255 条（21%）本来就不该被索引，既浪费抓取精力，也让报表变得混乱，见抓取预算。

怎么提高可索引性

1. 站点地图保持干净，只放规范、200 状态、可索引的 URL。
2. 每个重要页面都要有可抓取的链接；抓取深度越浅越好。
3. 让内容出现在 HTML 里，或确保 JavaScript 能可靠渲染，见 JavaScript SEO。
4. 一个页面只给一种信号： 不要同时用 noindex 和指向别处的 canonical。
5. 合并近似重复的页面，清理低价值页面，见内容修剪和索引膨胀。
6. 盯住服务器错误，它们会让爬虫放慢速度并丢弃 URL。

在 TapCub 里

TapCub 的 监测 › 抓取健康 报表按搜索引擎统计抓取次数、成功率、不同页面数、404 和 5xx。设置站点地图 URL 后，它会对比站点地图里的 URL 和爬虫实际抓取的页面，并显示新页面要等多久才被各搜索引擎头一次抓取，能很快发现那些连抓取都还没发生的页面。状态码需要服务端记录（日志导入或服务端事件），只用页面脚本采集看不到。索引状态本身来自搜索引擎，可以连接 Search Console，按页面看点击和展示。见 SEO 日志分析和检查抓取健康。

参考资料

• Google Search Central. Page indexing report.
• Google Search Central. Block search indexing with noindex.
• Google Search Central. In-depth guide to how Google Search works.