抓取深度：是什么，怎么让重要页面保持在浅层

什么是抓取深度？

抓取深度（Crawl Depth，也叫点击深度）是爬虫或访客从首页出发、要跟随多少个链接才能到达某个页面。首页深度为 0，首页直接链接的页面深度为 1，再往下链接的页面深度为 2，以此类推，始终按最短路径计算。

它是站内链接结构的属性，不是 URL 的属性。如果首页链接了 /blog/2021/03/post，它的深度就是 2；而 /pricing 如果没有显眼的链接指向它，深度可能是 4。

抓取深度和相近概念

为什么抓取深度重要

• 发现和复抓频率。 搜索引擎往往更容易发现、更频繁地重访浅层页面，深层页面可能很少被抓，甚至抓不到。
• 内链信号。 离首页近的页面通常获得更多内链，也分到更多站内链接信号。
• 用户。 要点五次才能找到商品，大多数人不会点到底。

官方没有规定最大深度，「三次点击原则」也只是经验，不是排名规则。实际目标是：重要页面保持在离首页三到四次点击以内。

计算示例：分页怎么把内容埋深

一个博客有 600 篇文章，每页 10 篇，只有「下一页」链接（示例）：

内容没变，只是链接变了。本站博客每页列 48 篇，并用分类页作为第二条入口，就是这个原因。

怎么测量

1. 用 SEO 抓取工具从首页开始爬全站，导出每个 URL 的深度。
2. 画出分布： 深度 1、2、3 及以上各有多少 URL。深度 5 以后还拖着一条长尾，就是警示信号。
3. 用日志交叉验证： 深层页面同时很少被搜索引擎抓取，就坐实了问题，见 SEO 日志分析。
4. 找孤立页面： 完全没有内链的页面没有深度，它们是只能通过站点地图或外链到达的孤立页面。

怎么降低抓取深度

• 为每个主题或分类建聚合页，并从主导航链接过去。
• 用页码分页（或「查看全部」页），而不是只有「下一页」；无限滚动要配可抓取的链接。
• 文末相关链接，让文章和商品之间横向互链，而不只是上下层级。
• 面包屑导航链接回分类层级。
• 新内容先从首页或「最新」区块链接，直到别处也链接了它。
• 站点地图有助于发现，但替代不了链接；只出现在站点地图里的 URL 依然没有站内链接信号。

在 TapCub 里

抓取深度来自你的链接结构，要用站点抓取工具来测。TapCub 从搜索引擎这一侧展示结果：抓取健康报表列出每个搜索引擎抓了多少个不同页面；填上站点地图 URL 后，还能看到哪些站点地图里的页面还没被抓过，以及新页面等了多久才被头一次抓取。一直没被抓的页面，通常就是太深或孤立的页面。见抓取预算和Google 多久抓取一次网站。

参考资料

• Google Search Central. SEO starter guide: link to relevant resources.
• Google Search Central. Large site owner's guide to managing your crawl budget.
• seoClarity. What is crawl depth?