Google 多久抓取一次网站？先量出来，再让它更快

Google 没有固定的抓取周期，每个页面的频率都不一样。本文说明怎么按页面类型和新页面等待时间量出你网站的抓取频率，以及哪些做法真能让页面更快被抓取。

简短的回答

没有固定周期，也没有一个适用于整个网站的数字。Google 是按网址决定的：热门且经常变化的页面（比如首页、热门分类页）一天可能被抓很多次，很少变化的深层页面可能要等几周。对于新页面或改过的页面，Google 说抓取可能需要几天到几周（见请求 Google 重新抓取网址）。

所以有用的问题是：「Google 多久抓一次我网站上每一类页面，新页面要等多久？」这两件事都能量出来。

什么决定一个页面被抓的频率

• 需求： 页面看起来有多重要（指向它的链接、流量），以及它过去多久变一次。
• 发现： Google 能不能通过内链和站点地图很快找到新网址。
• 容量： 服务器响应有多快、多稳定；报错和慢响应会让整个主机被抓得更少。见抓取预算。

量出你网站的抓取频率

用服务器日志或 Search Console 的抓取统计报告。用日志的话，筛出经过验证的 Googlebot 请求，按页面类型分组，再用抓取次数除以页面数和周数。另外，对上个月发布的页面，量出从发布到 Googlebot 首次抓取隔了多久。

示例里，首页每周约被抓 98 次，分类页 14 次；商品页平均每页每周不到一次，新商品要等约 4 天。新博客文章约一天半内就被抓到，因为首页链接了它们。这直接指向了解决办法：从常被抓取的页面链接新商品。

怎么让页面更快被抓取

表里比较了有用的几种做法，以及 Google 说明的限制。从常被抓取的页面加内链通常效果明显，而且没有成本。站点地图适合大量网址，但 Google 只在 lastmod 一贯且可核实地准确时才会采用，并且忽略 priority 和 changefreq（见构建并提交站点地图）。

限制以 Google 重新抓取和站点地图文档为准。

没有用的做法

• 对同一个网址反复请求。 Google 说重复请求不会让它更快，网址检查工具还有配额。
• 把所有 lastmod 都改成今天。 日期不准，Google 就会学会忽略它。
• 改 changefreq 或 priority。 这两个 Google 都忽略。
• 发布没有任何内链的页面。 孤立页面只能靠站点地图被发现。

在 TapCub 里看抓取频率

抓取报表需要服务端记录，通过日志导入或服务端事件发送，因为页面脚本看不到不执行 JavaScript 的爬虫。抓取健康按引擎拆分抓取，并列出每个爬虫抓得多的页面。设置站点地图网址后，它会对比站点地图里的网址和实际抓取，并显示近 30 天的新页面从出现到被各引擎首次抓取等了多久。

抓取异常提醒会在某个引擎 24 小时内的抓取量低于它 7 天日均的 30% 时通知你，这常常是屏蔽规则或服务器出问题的早期信号（见文档抓取健康与爬虫合规）。想看被抓取的页面有没有真正带来流量，见内容表现指标；爬虫基础见机器人流量。

常见问题

Google 多久抓取一次网站？

没有固定间隔。重要且常变的页面一天可能被抓几次；很少变化的深层页面可能几周一次。

Google 抓取一个新页面要多久？

Google 说几天到几周。被常抓页面链接到的页面，通常会快得多。

怎么知道 Google 上次什么时候抓了我的页面？

单个页面用 Search Console 的网址检查工具，所有页面看服务器日志。

能让 Google 每天都抓我的网站吗？

频率没法设定。你能做的是让重要页面容易被找到、保持服务器够快、保持站点地图准确。

请求编入索引能加快抓取吗？

对少数重要网址，请求一次可能有帮助。重复请求没有用，而且有配额。