怎么查看抓取健康和爬虫错误？

简短回答

打开监测 › 抓取健康。这里按搜索引擎显示搜索引擎和 AI 爬虫抓取你网站的次数、成功率、抓到的不同页面数，以及 404 和 5xx 错误。填上站点地图地址后，还能看到站点地图里哪些页面从没被抓过，以及新页面等了多久才被各个引擎头一次抓取。状态码要靠导入服务器日志，单靠页面脚本看不到。

报表显示什么

爬虫的 404 和页面报表里真实访客遇到的 404 是分开的。

设置

1. 发送服务端记录。 抓取健康依赖服务端记录：导入服务器日志，或把访问日志作为服务端事件发送。只有页面脚本时，你只能看到会运行 JavaScript 的爬虫，而且没有状态码；完全不跑 JavaScript 的爬虫（包括大多数 AI 爬虫）会漏掉。
2. 在抓取健康设置里填写站点地图地址，开启站点地图对比和头次抓取等待时间。
3. 在通知里打开抓取异常告警。 某个引擎 24 小时的抓取数低于它 7 天日均的 30% 时会提醒你。

页面会显示有多少记录来自脚本、多少来自服务端，让你知道自己看的是哪种视图。

怎么看

1. 先看引擎表。 Googlebot 的抓取量稳不稳？突然下降常常发生在 robots.txt 改动、服务器宕机或一波 5xx 错误之后，见 Google 多久抓取一次。
2. 修掉爬虫反复请求的 404。 优先处理同时也是访客 404 的网址，以及仍被内部链接或站点地图引用的网址。迁移的页面用一次 301 跳转，避免重定向链。
3. 5xx 要马上处理。 反复出现的服务器错误会让爬虫放慢抓取，还可能让页面掉出索引。
4. 查看从没被抓过的站点地图页面。 它们常常是孤立页面、被屏蔽的路径，或者埋得太深的页面。给它们加内部链接。
5. 关注头次抓取等待时间。 新页面要等好几周，说明抓取预算被花在了别处，比如筛选组合网址、参数网址或软 404。

爬虫合规

监测 › 爬虫合规会抓取你的 robots.txt，再和真实的抓取对比，标出三类违规：全站禁止时仍在抓取、抓取了禁止的路径、比声明的抓取间隔更快。生成器可以起草「屏蔽训练爬虫」「屏蔽答案引擎」「只允许主流搜索引擎」的规则，供你发布到网站上。robots.txt 本身拦不住抓取，这个页面是谁遵守、谁不遵守的证据，另见 AI 爬虫账本。

常见问题

为什么成功率几乎是满的？ 来自页面脚本的记录没有状态码，都算成功。导入日志后，4xx 和 5xx 才会分出来。

把爬虫加进排除规则能拦住它吗？ 不能。排除只是让 TapCub 不统计它。要在服务器上拒绝它，用合规页面提供的拦截片段。

这和 Google Search Console 的抓取统计一样吗？ 有重叠，但这里把所有搜索引擎和 AI 爬虫放在一处，还能和你自己的访客数据对照。连接 Search Console 后，搜索点击和展示在监测 › 搜索表现里。

相关

• 机器人识别是怎么工作的
• 用日志文件做 SEO 分析
• 抓取错误