索引膨胀：是什么、怎么发现、怎么解决

什么是索引膨胀？

索引膨胀（Index Bloat）是指搜索引擎收录的网站 URL 远多于网站真正值得被搜到的页面：筛选组合、站内搜索结果、标签归档、带追踪参数的变体、自动生成的单薄页面。有价值的页面还在，但要和成千上万个低价值的近似重复页分享抓取精力和质量信号。

（在数据库里，「index bloat」是另一回事：数据库索引比实际数据需要的大得多，比如 PostgreSQL 经过大量更新之后。本文讲的是 SEO 含义。）

怎么判断有没有索引膨胀

对比三个数字：

已收录 URL 是你想排名页面的好几倍，就是膨胀了。这个示例里多出大约 18,600 个 URL。按 URL 规律拆开：

为什么要紧

• 浪费抓取。 爬虫把时间花在近似重复页上，而不是新的或更新过的页面，见抓取预算。
• 稀释质量信号。 大量单薄页面可能拉低网站内容的整体评价。
• 关键词内耗。 几个相似 URL 争同一个查询，见关键词内耗。
• 报表混乱。 Search Console 和统计报表里塞满变体，页面级分析更难做。

常见原因

• 分面导航和排序参数
• 站内搜索结果页
• 内容很少的标签、作者、日期归档
• URL 里的会话 ID 和追踪参数
• 打印版、AMP 或协议 / 域名重复的版本（http 和 https、带不带 www）
• 对爬虫开放的预发或测试环境
• 没有独特内容的批量页面（每个城市一页、每个关键词一页）

怎么解决

顺序很重要：在 URL 被移出索引之前就用 robots.txt 拦住，爬虫就看不到 noindex 标签了，这些 URL 可能一直留在索引里。先移除，再拦截。

修复后，随着爬虫重新访问这些 URL，收录数会在几周到几个月内下降。

在 TapCub 里

TapCub 的抓取健康报表显示各搜索引擎实际抓了哪些 URL；设置站点地图 URL 后，还会把抓取情况和站点地图对比。如果爬虫的大部分抓取都花在不在站点地图里的参数 URL 或搜索页上，就是膨胀的早期信号，往往在收录数上涨之前就能看到。状态码和完整 URL 来自导入的服务器日志，见 SEO 日志分析、内容审计和抓取深度。

参考资料

• Google Search Central. Managing crawling of faceted navigation URLs.
• Google Search Central. Consolidate duplicate URLs.
• Google Search Central. Block search indexing with noindex.