Meta-ExternalAgent：Meta 的 AI 爬虫做什么、怎么控制

Meta-ExternalAgent 在很多服务器日志里是最活跃的 AI 爬虫之一。本文讲清它做什么、和 Facebook 链接预览背后的爬虫有什么区别、怎么验证，以及怎么通过对比它读取的量和 Meta 带回的访客来决定要不要允许它。

什么是 Meta-ExternalAgent

Meta-ExternalAgent 是 Meta 运营的网络爬虫。Meta 的文档说，它抓取网页用于训练 AI 模型，以及通过直接索引内容来改进产品等用途。它的用户代理里包含 meta-externalagent，例如：

meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

在很多网站上，它已经成了最活跃的 AI 爬虫之一，所以不少人在日志里看到它之后会去搜。

Meta 的三个爬虫

Meta 文档里有几个分工不同的爬虫。下表对比它们。区分清楚很重要：屏蔽错了，别人在 Facebook、Instagram 或 WhatsApp 分享你的页面时，链接预览可能就没了。

以 Meta 文档里的最新列表为准；爬虫名称和用途会变。

怎么验证

用户代理可以伪造。Meta 的文档给了一个方法，按 Meta 的网络（AS32934）列出它的爬虫使用的 IP 段：

whois -h whois.radb.net -- '-i origin AS32934' | grep ^route

带 Meta 用户代理、但 IP 不在这些段里的请求，不是 Meta 发的。

完整例子：读取量和带回的访客

某内容网站 30 天的服务端数据（示例数字）：

• meta-externalagent：抓取 42,000 次，大多是博客和文档页
• facebookexternalhit：抓取 3,100 次，由用户分享链接触发
• Meta-ExternalFetcher：抓取 260 次
• 来自 Facebook、Instagram 和 Meta AI 的真人访问：1,900 次

怎么读：Meta 的训练爬虫每读约 22 个页面，Meta 才带回一个访客（42,000 ÷ 1,900）。相比之下，链接预览爬虫是直接为访客服务的：每次分享显示出预览，都让点击更有可能发生。

这个网站决定：付费文档屏蔽 Meta-ExternalAgent，公开博客继续允许，facebookexternalhit 不动。

用 robots.txt 控制

Meta 表示 Meta-ExternalAgent 遵守 robots.txt。屏蔽整个网站：

User-agent: meta-externalagent
Disallow: /

只屏蔽一部分：

User-agent: meta-externalagent
Disallow: /docs/
Disallow: /members/

想保留链接预览，就继续允许 facebookexternalhit。Meta 说明，代表用户请求的抓取和链接预览的检查，不一定按同样方式遵守 robots.txt。

如果某个爬虫不遵守你的规则，就在服务器、CDN 或防火墙上按验证过的 IP 段和用户代理屏蔽。robots.txt 是请求，不是强制手段。

在 TapCub 里看 Meta 的爬虫

• 网站统计 › 机器人 的「AI & agents」页签：「AI 内容账本」按运营商列出抓取次数（训练爬虫和答案引擎分列）、带回的真人访客和回报率（读取 ÷ 带回的访客）。
• 网站统计 › 机器人 的「All bots」页签：每个爬虫访问的页面、最常见的状态码和可信度（已验证、疑似、未验证）。
• 监测 › 爬虫合规：把真实抓取和你的 robots.txt 对比，列出违规，比如爬虫抓取了被禁止的路径；生成器可以起草「禁止训练爬虫」这类规则，由你发布到网站上。

不执行 JavaScript 的爬虫，只有开启服务端采集或导入日志后才看得到。相关阅读：GPTBot、ClaudeBot 和 AI 爬虫账本。