TapCub 正式上线:统计、分析、客服一个平台免费用
AI 搜索

Amazonbot:亚马逊的三个爬虫,以及怎么分别控制

Amazonbot 是亚马逊的爬虫,它读取的内容可能用于训练 Amazon AI 模型,是三个 robots.txt 设置互相独立的亚马逊代理之一。各自做什么、按目标怎么写规则、怎么按 IP 核实,以及一个读取量对比回流量的算例。

伊森·布鲁克斯 发布于 2026 年 11 月 16 日 8 分钟阅读 AI 搜索
示例数据:演示项目,服务端记录,近 30 天。规则生效后,Amazonbot 只抓取 robots.txt。TapCub 对 Amazon 不做 DNS 校验,可信等级显示「未验证」;来源 IP 要对照亚马逊的 IP 文件。示例数据

用你自己的数据试一下

这篇文章里出现的报表免费版全都有。一段代码,网站和 App 都能接,最多 10 个站点。

免费开始

Amazonbot 是亚马逊用来改进产品与服务的爬虫,亚马逊自己的文档写明:它读取的内容可能用于训练 Amazon AI 模型。用途就写在那份官方说明里——放行之前先读它,再用自己的数据看它到底读了什么。本文覆盖三个亚马逊代理、robots.txt 写法、IP 核实和一个可复算的算例。

读完你会知道

  • 亚马逊文档列出三个互相独立的代理:Amazonbot(可能训练 Amazon AI 模型)、Amzn-SearchBot(Alexa 搜索,不用于生成式 AI 训练)、Amzn-User(替用户实时抓取,不用于训练)
  • 禁止 Amazonbot、允许 Amzn-SearchBot,即可退出训练、保留 Alexa 搜索资格;规则可能滞后最多 30 天
  • 按亚马逊公布的 IP 文件核实请求,再用自己的读取量和带回访问做判断,而不是只看爬虫名字

Amazonbot 是什么

Amazonbot 是亚马逊用来改进产品与服务的爬虫。亚马逊自己的文档写明,这"有助于向客户提供更准确的信息,并可能用于训练 Amazon AI 模型"(亚马逊爬虫文档,更新于 2026-10-26)。它的 User-Agent 里带有 Amazonbot/0.1,版本号可能会变;旧字符串里附带的 developer.amazon.com/support/amazonbot 链接,如今会重定向到同一份文档页。

用途就写在亚马逊自己的说明里:放行之前先读那份说明,再用自己的数据看它到底读了什么。Amazonbot 是亚马逊文档列出的三个代理之一,各项设置互相独立——屏蔽 Amazonbot 不会挡住 Alexa 搜索,允许搜索也不等于允许训练。

亚马逊文档里的三个代理

下面的对照表只采用亚马逊自己的表述。写规则时有三个细节要注意:

  • 每个代理的设置互相独立,改动可能需要约 24 小时才会反映到亚马逊的系统里。
  • 如果你的 robots.txt 没有点名 Amzn-SearchBot,但允许其他搜索爬虫,Amzn-SearchBot 会按照给其他搜索爬虫的指令来抓取。
  • Amzn-User 替用户实时抓取页面——比如为 Alexa 的提问取回最新信息——因此它可能不完全遵守 robots.txt 指令。
代理亚马逊怎么说AI 训练?robots.txt 说明
Amazonbot改进产品与服务;可能用于训练 Amazon AI 模型可能用于✓ 禁止即退出训练
Amzn-SearchBot改进 Alexa 等搜索体验不用于生成式 AI 训练未点名时,跟随给其他搜索爬虫的规则
Amzn-User替用户实时取页,如 Alexa 提问不用于生成式 AI 训练~ 可能不完全遵守 robots.txt 指令

来源:亚马逊爬虫文档,更新于 2026-10-26,2026-11-15 核对。各项设置互相独立(约 24 小时生效)。

robots.txt 写法

上面这组规则退出 Amazon AI 训练,同时保留内容出现在 Alexa 搜索里的资格。亚马逊的 robots.txt 政策还有五个细节:

  • 规则按主机读取。亚马逊的爬虫会分别找 example.com/robots.txt 和 site.example.com/robots.txt,所以想控制哪个主机,就在哪个主机上发布规则文件。
  • 它们可能使用最近 30 天内的缓存副本,新规则可能滞后生效;发布后过一段时间再核对真实抓取。
  • 如果 robots.txt 取不到,它们会当它不存在——规则文件打不开,等于全部放行。
  • 不支持 crawl-delay 指令;限流要在服务器上做。
  • 它们遵守链接级的 rel=nofollow,以及页面级的 noarchive("不将该页用于模型训练")、noindex 和 none 元标签。

Amzn-User 可能不完全遵守指令,要限制它,得靠服务器上的访问控制,而不是规则文件。

robots.txt退出 Amazon AI 训练,保留 Alexa 搜索资格
User-agent: Amazonbot
Disallow: /

User-agent: Amzn-SearchBot
Allow: /

核实请求是不是真的 Amazonbot

User-Agent 可以伪造。亚马逊公布了每个代理的 IP 地址;三个文件均于 2026-11-15 抓取并解析:

  • Amazonbot IP 文件:1,292 个 IPv4 地址,键名 ipv4Prefix,creationTime 为 2026-09-08。
  • Amzn-SearchBot IP 文件:816 个 /32 前缀,键名 ip_prefix——和另外两个文件的键名不同,解析器要兼容两种——creationTime 为 2026-09-08。
  • Amzn-User IP 文件:1,023 个地址,键名 ipv4Prefix,creationTime 停在 2025-11-04,比另外两个旧;依赖它之前先重新抓取。

把每条请求的来源地址,和 User-Agent 所写代理对应的文件对照。来自列表之外地址、自称 Amazonbot 的请求不是亚马逊的。2024 年 AWS re:Post 社区的一个回答建议用反向 DNS 查到 crawl.amazonbot.amazon 子域、再正向回查(re:Post);现行官方文档给的是 IP 文件。

检查自己的数据

决定之前,先数清 Amazonbot 到底读了什么。示例数据:30 天,演示项目,已导入服务器日志,因为页面脚本只能看到执行 JavaScript 的爬虫。

已验证的 Amazonbot 共读取 4,800 次:产品页 2,880 次(2,880 ÷ 4,800 = 60%)、博客 1,440 次(30%)、文档 480 次(10%)。独立页面:产品 480 + 博客 360 + 文档 120 = 960 个,整体每页 5.0 次读取(4,800 ÷ 960)。

路径类别读取次数占比独立页面数每页读取
/products/2,88060%4806.0
/blog/1,44030%3604.0
/docs/48010%1204.0

产品页被反复读取得最多:2,880 ÷ 480 = 每页 6.0 次,博客是 1,440 ÷ 360 = 4.0 次。从亚马逊带回的真人访问:6 次,即 6 ÷ 4,800 = 0.125%,约等于零——它是内容读取方,不是流量渠道。

第 15 天发布了 Disallow 规则。之后,已验证的亚马逊 IP 只剩 62 次抓取,全部是 /robots.txt,内容页为 0 个。这属正常:爬虫仍会读规则文件。如果已验证 IP 还在抓内容页,那是合规问题;来自其他 IP、自称"Amazonbot"的请求则根本不是亚马逊。

app.tapcub.com/web/bots

机器人报表里的 Amazonbot · 近 30 天

第 15 天起禁止 Amazonbot
机器人用途请求数访问页面数Top 状态码可信等级
Amazonbot(规则前)AI 训练4,800960200未验证
Amazonbot(规则后)只读 robots.txt621200未验证

从亚马逊带回的访问:6

示例数据
示例数据:演示项目,服务端记录,近 30 天。规则生效后,Amazonbot 只抓取 robots.txt。TapCub 对 Amazon 不做 DNS 校验,可信等级显示「未验证」;来源 IP 要对照亚马逊的 IP 文件。

按目标决定

先读官方说明里的用途,再看自己的数据。亚马逊说 Amazonbot 可能用于训练 Amazon AI 模型;上面的算例显示读取集中在产品页、带回的流量几乎为零。据此:

  • 不进训练,但保留 Alexa 搜索资格:禁止 Amazonbot,允许 Amzn-SearchBot。
  • 在亚马逊和 Alexa 的体验里可见:两个都允许,并确认关键页面对它们返回 200。
  • 折中:放行抓取,但对选定页面加 noarchive——亚马逊把它定义为"不将该页用于模型训练"。
  • 降低负载:不支持 crawl-delay;在服务器上限流,并联系 amazonbot@amazon.com。

一个来自官方的变量:文档说,在 robots.txt 里放行 Amazonbot,可能符合 Amazon Content Partners 计划的资格——符合条件的销售额 +1% 联盟佣金加成、托管额度和 AI 流量工具。把它和你的读取分布、回流比值放在一起权衡;不要只为激励放行一个训练爬虫。

robots.txt 只是表达意愿;核对真实抓取,才知道它有没有被遵守。同样的"先读用途"思路也适用于 GPTBot 和 Bytespider;名词解释见 AI 爬虫和机器人。

TapCub 里的 Amazonbot

把上面的例子在 TapCub 里按步骤走一遍:

  1. 接上服务端记录。 只装页面脚本时,TapCub 只能看到会执行 JavaScript 的机器人。用服务端上报访问记录,或通过接口导入访问日志,4,800 次读取才能全部计入(见 机器人与 AI 爬虫)。默认情况下机器人单独统计,Amazonbot 的读取不会抬高真人访客数,也不会进转化率的分母。
  2. 看账本。 在 网站统计 › 机器人 的「AI 与智能体」页签里有「AI 内容账本」。Amazon 在训练列,读取 4,800 次,对照带回的真人访客;账本把比值写成「N 次读取 : 1 访客」,带回 6 人就是 4,800 ÷ 6 = 800 : 1。训练爬虫有这样的比值很正常,把它读成「内容消费者」,不要读成丢了流量。
  3. 看它读了什么。 Amazonbot 属于 AI 爬虫,会出现在 监测 › 抓取健康 里;点开它那一行,能看到它抓得最多的页面。TapCub 不按路径前缀汇总单个爬虫的读取,/products/、/blog/、/docs/ 各占多少,要从这份清单或你的日志里自己加。在「全部机器人」页签,Amazonbot 这一行(运营商 Amazon,用途「AI 训练」)有请求数、访问页面数、Top 状态码、最后发现、可信等级和命中检测层。TapCub 对 Amazon 不做 DNS 校验,可信等级显示「未验证」;真假要用亚马逊的 IP 文件分开。
  4. 屏蔽后查合规。 监测 › 爬虫合规 页的「规则文件生成器」有「禁止所有 AI 训练爬虫」选项,名单里有 Amazonbot;Amzn-SearchBot 的 Allow 那一组要自己保留。发布 Disallow 之后,同一页会把 robots.txt 和实际抓取对比,列出被禁止后仍抓取、抓了写明不允许的路径这类违规。亚马逊可能用最长 30 天的缓存,判定违规之前要把这段时间算进去。

TapCub 不做的事:它只衡量,不拦截,执行靠 robots.txt 加服务器限流。亚马逊文档里的三个代理,TapCub 按名字认的是 Amazonbot;Amzn-SearchBot 和 Amzn-User 没有单独的行。

常见问题

Amazonbot 是用来做什么的?

亚马逊的文档说,Amazonbot 用于改进亚马逊的产品与服务,帮助向客户提供更准确的信息,它读取的内容可能用于训练 Amazon AI 模型。这就是官方口径的用途;本文不作超出文档的猜测。

怎么屏蔽 Amazonbot?

在每个主机根目录的 robots.txt 里加一组 User-agent: Amazonbot 和 Disallow: /。想保留 Alexa 搜索资格,就继续允许 Amzn-SearchBot。亚马逊的爬虫可能使用最长 30 天前的缓存副本,发布后要再核对真实抓取。

屏蔽 Amazonbot 会让我的网站从 Alexa 里消失吗?

不会。Alexa 搜索资格来自 Amzn-SearchBot,它有自己独立的 robots.txt 设置;禁止 Amazonbot 只是退出训练爬虫。如果你的 robots.txt 没有点名 Amzn-SearchBot,但允许其他搜索爬虫,它会跟随那些搜索爬虫的规则。

Amazonbot 用于 AI 训练吗?

亚马逊的文档说,Amazonbot 读取的内容"可能用于训练 Amazon AI 模型",在 robots.txt 里禁止它即表示退出。另外两个代理 Amzn-SearchBot 和 Amzn-User,文档明确写着不为生成式 AI 模型训练抓取内容。

Amazonbot 遵守 robots.txt 吗?

亚马逊说,列出的代理遵守 Robots Exclusion Protocol,包括 user-agent 与 allow/disallow 指令、rel=nofollow 和 noarchive 元标签;不支持 crawl-delay。例外是 Amzn-User:它的抓取可能由用户发起,因此可能不完全遵守 robots.txt 指令。

怎么核实一条请求是不是真的 Amazonbot?

User-Agent 可以伪造,所以要把请求的来源 IP 和 User-Agent 所写代理对应的官方 IP 文件对照:Amazonbot 1,292 个地址、Amzn-SearchBot 816 个、Amzn-User 1,023 个(2026-11-15 解析)。来自这些列表之外的请求不是亚马逊的。

相关阅读

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

伊森·布鲁克斯

解决方案工程师

围绕 SDK、接口集成与数据接入编写实践指南,关注实施验证、系统协作和技术排障。

看清 Amazonbot 读了你网站的什么

按运营方和用途列出机器人,可信度验证,读取量对比带回访问,以及 robots.txt 合规检查。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie