Bingbot：是什么、怎么验证、怎么控制抓取

Bingbot 为 Bing 抓取网页，而 Bing 的索引还服务于其他产品，所以它常常是网站上第二重要的爬虫。本文讲它的用户代理、怎么验证、一周里和 Googlebot 对比的例子、抓取频率控制和 IndexNow。

什么是 Bingbot

Bingbot 是微软用来为 Bing 搜索索引发现和更新网页的爬虫。它的影响不止 Bing 本身：Bing 的索引也服务于微软的其他产品，比如 Copilot，还有其他搜索引擎授权使用 Bing 的结果。

对很多网站来说，Bingbot 是仅次于 Googlebot 的、最活跃的搜索爬虫。

Bing 的爬虫和用户代理

下表列出 Bing 文档里的主要爬虫。标准 Bingbot 的用户代理里包含 bingbot/2.0，例如：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36

字符串里的 Chrome 版本号会随 Bing 更新渲染引擎而变化。

所有微软爬虫都用同样的方法验证：反向 DNS 到 search.msn.com。

怎么验证是真的 Bingbot

任何人都能在用户代理里写「bingbot」。验证一个请求：

1. 拿到 IP 地址，做反向 DNS 查询。真的 Bingbot 会解析到以 .search.msn.com 结尾的主机名。
2. 对这个主机名做正向 DNS 查询，确认返回的是同一个 IP。
3. 或者把 IP 粘贴到 Bing 网站管理员工具的 Verify Bingbot 工具里。

自称 Bingbot 但没通过检查的请求就是假的：常常是采集程序，指望你不敢屏蔽搜索引擎。

完整例子：一周里 Bingbot 和 Googlebot 对比

某网站 7 天的服务端抓取数据（示例数字）：

• Googlebot：抓取 18,400 次
• Bingbot（已验证）：抓取 6,200 次，97% 返回 200
• 没通过验证的「Bingbot」：900 次请求，大多访问搜索页和商品列表页，来自云主机的 IP
• 网站地图里的新网址：等待第一次抓取的中位时间，Google 2 天，Bing 5 天

怎么处理：

• 在防火墙上按 IP 屏蔽或限流这 900 次假请求；不要屏蔽 Bingbot 这个用户代理。
• 想让 Bing 更快发现新页面，用 IndexNow（见下文）提交新网址，并保证网站地图里的 lastmod 准确。

控制 Bingbot 的抓取

• robots.txt：Bingbot 遵守针对 User-agent: bingbot 或 * 的 Disallow 规则。和 Google 不同，Bing 还遵守 Crawl-delay。
• Bing 网站管理员工具里的抓取控制：按一天中的小时设置抓取速度，比如在你最忙的时段少抓一点。
• 服务器错误会让它变慢。和 Google 一样，Bing 看到大量 5xx 或超时会减少抓取，见抓取错误。
• 不要为了减轻负载屏蔽它。屏蔽 Bingbot 会让你从 Bing 和使用它索引的产品里消失。

IndexNow

IndexNow 是一个开放协议，Bing 和其他一些搜索引擎支持它，让你在网址新增、更新或删除时通知它们。你在网站上放一个密钥文件，把变化的网址发到 IndexNow 的接口。很多 CMS 和 CDN 平台都提供这个设置。它不能代替网站地图，但能缩短新页面和更新页面的等待时间。

在 TapCub 里看 Bingbot

• 网站统计 › 机器人 区分已验证、疑似和未验证的机器人，默认把机器人排除在真人数据之外，假冒的 Bingbot 流量不会抬高访客数。
• 监测 › 抓取健康 按搜索引擎显示抓取次数、成功率、不同页面数、404 和 5xx，以及网站地图里的新网址等了多久才被各搜索引擎第一次抓取。
• 监测 › 搜索表现 可以连接 Bing 网站管理员工具，和 Google 并排看点击、曝光、点击率和排名。

相关阅读：Googlebot、抓取预算和 Google 多久抓取一次。