TapCub 正式上线:统计、分析、客服一个平台免费用
AI 搜索

Applebot 和 Applebot-Extended:两个身份,分别控制

Applebot 给 Spotlight、Siri 和 Safari 搜索抓内容;Applebot-Extended 只是 robots.txt 里的 AI 训练开关。两个代理各做什么、三种规则写法、DNS 与 IP 核实,以及屏蔽错了会损失多少的算例。

伊森·布鲁克斯 发布于 2026 年 11 月 16 日 9 分钟阅读 AI 搜索
示例数据:服务端记录。Applebot 经反向 DNS 到 applebot.apple.com 验证;Extended 从不抓取;错误规则生效后只剩 robots.txt 请求。示例数据

用你自己的数据试一下

这篇文章里出现的报表免费版全都有。一段代码,网站和 App 都能接,最多 10 个站点。

免费开始

Applebot 是苹果给 Spotlight、Siri 和 Safari 搜索抓内容的爬虫;Applebot-Extended 只是 robots.txt 里的 AI 训练开关。屏蔽错了,会把搜索一起关掉。本文讲两个代理各做什么、三种规则写法、怎么核实请求,以及一个能复算的损失算例。

读完你会知道

  • Applebot 为 Spotlight、Siri、Safari 搜索抓取;Applebot-Extended 从不抓取,只决定 Applebot 抓到的数据能不能用于训练苹果的 AI 模型
  • 禁止 Applebot-Extended 即可退出训练、保留苹果搜索;直接禁止 Applebot,会让它带回的访问承压
  • 用 *.applebot.apple.com 反向 DNS 加正向解析核实,或对照苹果的 CIDR JSON;留意 Googlebot 回退规则会悄悄屏蔽 Applebot

Applebot 是什么

Applebot 是苹果的网页爬虫。它抓取的数据为 Spotlight、Siri 和 Safari 里的搜索提供内容;苹果同时说明,同一批抓取数据也可能用于训练苹果基础模型(Apple Intelligence、Services、Developer Tools 里的生成式 AI 功能),并为 AI 生成的回答提供上下文(About Applebot,2026-09-04 发布,2026-11-15 核对)。

这个名字其实对应两样东西。Applebot 是你在日志里看到的爬虫;Applebot-Extended 不是爬虫,它只是 robots.txt 里的一个 token,决定 Applebot 抓到的数据能不能拿去训练 AI。多数站长要拨的是 Extended 这个开关。直接禁止 Applebot,会关掉给苹果搜索供内容的抓取——屏蔽错了,损失的是 Applebot 带回的访问;只屏蔽训练,则一次访问都不损失。

苹果的两个代理

按苹果官方文档:

  • Applebot(搜索):为 Spotlight、Siri 和 Safari 搜索抓取页面,也可能渲染页面。在 robots.txt 里允许它,内容才能出现在这些搜索结果里。
  • Applebot-Extended:不抓取网页。它只决定 Applebot 抓到的数据可以怎么用——具体来说,能不能用于训练苹果的生成式基础模型。禁止 Extended 的页面仍然可以出现在搜索结果里;苹果明确说明,Applebot-Extended 的站点规则不参与搜索排名。
  • iTMS(Apple Podcasts):只抓取在 Apple Podcasts 登记过的 URL,不遵守 robots.txt。

Google 的 Google-Extended 也是同样的「纯 token」模式:一个管数据用途的 robots.txt 名字,而不是一个独立的爬虫。所以无论加不加规则,你的日志里都不会出现 Applebot-Extended 的请求——它的作用是给已抓取数据打用途标记,不是流量。

代理做什么robots.txt 效果
Applebot为 Spotlight、Siri、Safari 搜索抓取(也可能渲染);抓到的数据也可能用于训练苹果基础模型、驱动 AI 回答Disallow 会停掉抓取 → 内容失去苹果搜索可见度
Applebot-Extended不抓取;决定 Applebot 抓到的数据能否用于训练苹果基础模型的 tokenDisallow = 退出训练;搜索保留;不参与搜索排名
iTMS(Apple Podcasts)只抓取在 Apple Podcasts 登记的 URL不遵守 robots.txt

来源:苹果《About Applebot》,2026-09-04 发布,2026-11-15 核对。两个 token 互相独立。

robots.txt 写法:三种选择

每个 token 单独写一组。三种目标,三套规则(本节后面附可直接复制的版本):

  1. 只屏蔽训练,保留苹果搜索:User-agent: Applebot-Extended 加 Disallow: /。Applebot 继续抓取,Siri、Spotlight、Safari 的可见度不变。
  2. 屏蔽全部苹果抓取:User-agent: Applebot 加 Disallow: /。这会停掉给苹果搜索供内容的抓取,是让搜索可见度承压的选择。
  3. 全部放行:两个 token 都不写——默认状态。

三个有官方文档依据的坑:

  • Googlebot 回退。 如果 robots.txt 里写了 Googlebot 却没写 Applebot,Applebot 会照 Googlebot 的规则执行。一条为 Googlebot 写的 Disallow,可能在不点名 Applebot 的情况下悄悄关掉苹果搜索。
  • 不支持 crawl-delay。 Applebot 不遵守 crawl-delay;网站变慢或返回错误时,它会自动调整抓取速率。
  • 渲染。 Applebot 可能在浏览器里渲染页面。屏蔽页面需要的 JS、CSS、XHR 资源会破坏渲染——这些资源要保持可访问。

训练和 AI 回答是两个开关:nosnippet(meta 标签或 X-Robots-Tag: applebot: nosnippet)退出 AI 生成的回答和摘要;Extended 退出训练。两者可以叠加——和 GPTBot 与 OAI-SearchBot 的训练/搜索分工是同一回事。

robots.txt三种选择——当前启用选项 1:只屏蔽训练,保留 Apple 搜索
# Option 1 - block training only, keep Siri / Spotlight / Safari (active)
User-agent: Applebot-Extended
Disallow: /

# Option 2 - block all Apple crawling (also turns off Apple search)
# User-agent: Applebot
# Disallow: /

# Option 3 - allow all: leave both tokens unlisted (default)

核实请求是不是真的 Applebot

User-Agent 可以伪造。苹果文档给了两种核实方法:

  1. 反向 DNS,再正向确认。 主机名必须以 .applebot.apple.com 结尾,再把这个主机名正向解析,必须回到同一个 IP。苹果自己的示例:
$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.
  1. CIDR 对照。 苹果把 IP 段公布在 search.developer.apple.com/applebot.json:24 个 IPv4 前缀,全部在 17.x 段,creationTime 2026-09-15(2026-11-15 核对)。把每条请求的来源 IP 和这份清单对照。

搜索用的 User-Agent 看起来像 Safari 加一个 Applebot 后缀,桌面示例:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

移动端把设备换成 iPhone; CPU iPhone OS 17_4_1 like Mac OS X,并加上 Mobile/15E148。苹果会不定期更新 UA 里对外声明的浏览器版本号,所以认 Applebot/ 这个 token,用 DNS 或 IP 核实,别认版本号。

检查自己的数据

改规则之前,先数清楚 Applebot 抓了多少、带回多少。示例数据,30 天窗口,服务器日志导入:

  • 已验证的 Applebot:12,000 次请求,覆盖 3,000 个页面,主要状态码 200。
  • 来自 Apple 入口(Siri / Spotlight / Safari)的真人访问:900。
  • 读取带回比:900 ÷ 12,000 = 7.5%,即每 1,000 次搜索读取带回 75 次访问。
  • 按 2.0% 的目标转化率:900 × 2.0% = 每月 18 次转化。
  • Applebot-Extended:0 次请求——它从不抓取。

对比两条规则:

  • 屏蔽错了(对 Applebot 写 Disallow: /)。 Applebot 仍会读 robots.txt,大约每天一次:1 × 30 = 30 次请求、1 个页面,不再有新的内容抓取。900 次访问和 18 次转化承压——这是 Apple 入口流量全部损失时的上限。苹果没有公布索引衰减的时间表,这里也不假设任何时间表。
  • 屏蔽对了(对 Applebot-Extended 写 Disallow: /)。 Applebot 保持 12,000 次请求 / 3,000 个页面;访问保持 900;转化保持 18。Extended 的请求在规则前后都是 0,所以验收看的是规则在不在 robots.txt 里,不是流量有没有掉。
  • Googlebot 回退陷阱。 robots.txt 里禁止 Googlebot 却不提 Applebot,会悄悄复现同样的 12,000 → 30 崩塌。

完整计数要靠服务器日志:页面脚本统计只能看到执行 JavaScript 的那部分抓取。

app.tapcub.com/web/bots

Applebot 代理 · 近 30 天

错误规则:禁止 Applebot
机器人用途请求数访问页面数Top 状态码可信等级
Applebot(规则前)搜索引擎12,0003,000200已验证
Applebot(错误规则后)只读 robots.txt301200已验证
Applebot-ExtendedAI 训练(token)00—不适用(不抓取)

来自 Apple 入口的真人访问:900

示例数据
示例数据:服务端记录。Applebot 经反向 DNS 到 applebot.apple.com 验证;Extended 从不抓取;错误规则生效后只剩 robots.txt 请求。

按目标决定

目标规则保住什么 / 损失什么
不进 AI 训练,留在苹果搜索里Applebot-Extended + Disallow: /搜索可见度不变;示例里 900 次访问、18 次转化保住
苹果入口可见度尽量高两个 token 都不写规则关键页面保持返回 200、可渲染
完全退出苹果搜索Applebot + Disallow: /示例里每月 900 次访问、18 次转化承压
不进 AI 回答,但仍被收录nosnippet meta 或 X-Robots-Tag: applebot: nosnippet仍可搜索;建议只显示标题
付费墙页面可搜索、不进 AI 上下文JSON-LD isAccessibleForFree: false可进搜索,不作 AI 回答上下文;不支持 hasPart 分段标记
降低服务器负载不支持 crawl-delay;出错时自动调速规则保持简单;必要时在服务器限流

上面示例里,屏蔽错了会让每月 900 次访问、18 次转化承压;只屏蔽训练的规则,一次访问都不损失——你要拨的开关是 Extended,不是 Applebot。拿不准某个爬虫属于哪一类?先查 AI 爬虫术语表。规则只是表达意愿;它有没有被遵守,要看实际抓取。

TapCub 里的 Applebot

动 robots.txt 之前,先在 TapCub 里把上面的例子走一遍:Applebot 抓得正不正常,规则有没有打中对的 token?

  1. 接上服务端记录。 只装页面脚本时,TapCub 只能看到会执行 JavaScript 的机器人。用服务端上报访问记录,或通过接口导入访问日志,Applebot 的 12,000 次请求才能全部计入(见 机器人与 AI 爬虫)。默认情况下,已识别的机器人不进真人访客数和转化率的分母。
  2. 找到对的那一行。 在 网站统计 › 机器人 打开「全部机器人」页签。Applebot 这一行运营商是 Apple,用途「搜索引擎」。对服务端记录,TapCub 做的就是上文那套校验:反向 DNS 到 applebot.apple.com,再正向解析回原 IP;通过时可信等级显示「已验证」,不通过显示「疑似」。Applebot-Extended 也在 TapCub 的名单里,用途「AI 训练」,但它从不抓取,所以这个名字下不会有请求。
  3. 盯住搜索这一头。 Applebot 是搜索引擎,所以会出现在「全部机器人」里的搜索引擎抓取健康小表和 监测 › 抓取健康 里:抓取次数、成功率、404 和 5xx。示例里是 12,000 次抓取,状态码 200。
  4. 发布只拦 Extended 的规则,再查打中的是哪个 token。 监测 › 爬虫合规 页的「规则文件生成器」有一个「禁止所有 AI 训练爬虫」选项,它的名单里有 Applebot-Extended,不含 Applebot。发布之后,Applebot 在「全部机器人」和抓取健康里应该仍在 12,000 次左右。如果掉到只剩约 30 次 robots.txt 请求,说明拦到了 Applebot 本身,或者踩了 Googlebot 回退规则:恢复 Applebot,只禁止 Applebot-Extended。爬虫合规页也会列出在路径被禁止期间仍发生的抓取。

TapCub 不做的事:它负责衡量和核对,不改 robots.txt,也影响不了排名。Siri、Spotlight 带来的访问不会单独列成一个来源,例子里 900 次访问那一头要靠你自己按引荐来源和落地页分析。苹果没有站长后台,监测 › 搜索表现 只能连 Google Search Console 或 Bing Webmaster,所以看 Applebot 靠的是服务端记录加机器人报表。

常见问题

Applebot 是什么?

苹果的网页爬虫。它抓取页面、也可能渲染页面,为 Spotlight、Siri 和 Safari 里的搜索提供内容。苹果说明,同一批数据也可能用于训练基础模型、为 AI 回答提供上下文;每种用途都有各自的控制开关。

Applebot 和 Applebot-Extended 有什么区别?

Applebot 负责为搜索抓取。Applebot-Extended 从不抓取网页——它是 robots.txt 里的一个 token,决定 Applebot 抓到的数据能不能用于训练苹果的生成式 AI 基础模型。禁止 Extended,页面仍然有资格出现在苹果搜索结果里。

屏蔽 Applebot 会让我的网站从 Siri 和 Spotlight 里消失吗?

它会停掉给这些入口供内容的抓取。苹果说明,在 robots.txt 里允许 Applebot,内容才能出现在 Spotlight、Siri 和 Safari 搜索里,所以一刀切禁止 Applebot 会让这份可见度承压。只想退出训练,就改为禁止 Applebot-Extended。

Applebot 遵守 robots.txt 吗?

一般搜索抓取遵守,但有两个写进文档的例外:robots.txt 里写了 Googlebot 却没写 Applebot 时,Applebot 照 Googlebot 的规则执行;另外 Applebot 不遵守 crawl-delay。Apple Podcasts 用的 iTMS 是另一个 User-Agent,不遵守 robots.txt。

怎么核实一条请求是不是真的 Applebot?

对来源 IP 做反向 DNS:主机名必须以 .applebot.apple.com 结尾。再把这个主机名正向解析,确认回到同一个 IP。也可以把 IP 和苹果公布的 CIDR 清单 search.developer.apple.com/applebot.json 对照。只有 User-Agent 对得上,不算证据。

屏蔽 Applebot-Extended 会影响苹果搜索排名吗?

不会。苹果明确说明,Applebot-Extended 的站点规则不参与搜索排名,禁止 Extended 的页面仍可被收录进搜索结果。这个 token 只决定 Applebot 抓到的内容能不能用于训练苹果的基础模型。

相关阅读

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

伊森·布鲁克斯

解决方案工程师

围绕 SDK、接口集成与数据接入编写实践指南,关注实施验证、系统协作和技术排障。

看清哪些 Apple 代理在读你的网站

按运营方和用途列出机器人,DNS 验证可信度,抓取量对比回流访问,以及 robots.txt 合规检查。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie