抓取错误：类型、原因和修复方法

抓取错误是失败的搜索引擎请求。少量是正常的；一连串服务器错误，或重要页面上成片的 404，就不正常了。本文讲清类型、常见原因、修复顺序，并用一周的 Googlebot 数据走一遍。

什么是抓取错误

抓取错误是搜索引擎爬虫发出的请求没有拿到它想要的页面。爬虫可能得不到响应（DNS 失败、超时），拿到服务器错误（5xx）、「找不到」（404），或者一个不知道跳到哪去的跳转。

有些错误是正常的。每个网站都会因为旧链接有一些 404。要紧的是类型、数量，以及重要页面有没有受影响。

站点级错误和网址级错误

• 站点级错误让爬虫根本进不了网站：DNS 失败、服务器拒绝连接、超时，或者 robots.txt 返回错误。这类很紧急，因为搜索引擎看到它们会放慢对整个网站的抓取。robots.txt 返回 5xx 时，Google 会暂停抓取。
• 网址级错误只影响单个页面：404、软 404、401/403、跳转链和跳转循环。落在你希望被收录的页面上时最要紧。

主要类型和修复方法

下表列出常见类型、一般原因和修复方法。

被 robots.txt 屏蔽是你的选择，不算错误；只有页面需要收录时才要检查。

完整例子：一周的 Googlebot 抓取

某网站 7 天的服务端数据（示例数字）：

• Googlebot 抓取 18,400 次
• 返回 200 的 16,900 次（成功率 91.8%）
• 返回跳转（301/302）的 820 次
• 返回 404 的 540 次
• 返回 5xx 的 140 次

怎么读：

• 140 次服务器错误全部落在一次发版的 40 分钟里。这是发版问题，不是容量问题：改成不停机发版，或者维护期间返回 503 并带上 Retry-After。
• 540 次 404 里，有 410 次来自改版时删掉的一个旧分类路径。这些应该 301 到新分类。其余 130 次很分散，多是旧的错拼链接，保持 404 就行。
• 820 次跳转里有 300 次经过两跳（http → https → 末尾斜杠）。把站内链接和网站地图都改成最终网址。

修完之后，下一周成功率到 96%。Googlebot 的访问更多落在真实页面上，见抓取预算。

先修什么

1. 站点级错误（DNS、超时、robots.txt 失败、连续的 5xx）。
2. 重要页面上的错误：网站地图里的、导航里链到的页面。
3. 同一路径模式下的大量 404：一条跳转规则能修好很多。
4. 站内链接和网站地图里的跳转链、跳转循环。
5. 软 404：返回 200 的空搜索页、空分类页。
6. 已删除内容的零散 404 不用管，404 就是正确的回应。

在哪里看抓取错误

• Google Search Console › 网页和抓取统计信息：显示 Google 报告的情况，有几天延迟。
• 服务器日志：实时记录每个请求，见SEO 日志分析。
• 网站爬虫工具：能找出死链和跳转链，但它显示的是爬虫工具看到的，不是搜索引擎实际请求的。

在 TapCub 里怎么看

监测 › 抓取健康 在服务端按搜索引擎统计抓取：抓取总数、成功率、不同页面数、404 和 5xx，以及网站地图里的新网址等多久才第一次被抓取。最近 24 小时的抓取低于 7 天平均的 30% 时，会发出「抓取异常」通知，这常常发生在一连串服务器错误之后。哪些爬虫是真的，在 网站统计 › 机器人 里看（已验证、疑似、未验证）。Google 爬虫怎么工作，见 Googlebot 和 Google 多久抓取一次。

相关阅读

• 怎么导入服务器访问日志？