GPTBot：OpenAI 的四个爬虫，以及怎么分别控制

屏蔽 GPTBot 只要一行，但它只是 OpenAI 四个代理之一，而且各自分开控制。本文介绍 GPTBot 和另外三个代理各做什么、退出各自会怎样、常见目标下的 robots.txt 写法、怎么用 OpenAI 公布的 IP 文件核实请求，以及怎么在自己的数据里检查结果。

GPTBot 是什么

GPTBot 是 OpenAI 用来抓取可能用于训练生成式 AI 基础模型的内容的爬虫。在 robots.txt 里禁止它，表示你的内容不应被用于训练。它的 User-Agent 里带有 GPTBot/1.4 和指向 openai.com/gptbot 的链接，版本号可能会变（见 OpenAI 爬虫说明）。

GPTBot 是 OpenAI 列出的四个代理之一，OpenAI 表示各项设置互相独立。屏蔽 GPTBot 不会让你从 ChatGPT 搜索里消失，允许搜索也不等于允许训练。

OpenAI 的四个代理

根据 OpenAI 的爬虫说明：

• GPTBot：抓取可能用于模型训练的内容。
• OAI-SearchBot：让网站出现在 ChatGPT 搜索结果里。退出的网站不会出现在 ChatGPT 搜索回答中，但仍可能以导航链接的形式出现。OpenAI 表示 robots.txt 的改动大约 24 小时后体现在搜索结果里。
• ChatGPT-User：用户向 ChatGPT 或自定义 GPT 提问时访问网页，也用于 GPT Actions。它不用于自动抓取；OpenAI 指出，因为这些访问由用户发起，robots.txt 规则可能不适用。它也不用于决定是否收录进搜索。
• OAI-AdsBot：检查在 ChatGPT 上投放的广告落地页是否合规。它只访问提交为广告的页面，OpenAI 表示其数据不用于训练基础模型。

来源：OpenAI 爬虫说明，2026-11-04 核对。各项设置互相独立。

robots.txt 写法

每个代理单独写一组。常见的选择是退出训练、同时保留在 ChatGPT 搜索里的可见度：

想退出所有自动抓取，就同时禁止 GPTBot 和 OAI-SearchBot。ChatGPT-User 的访问由用户发起，可能不遵守 robots.txt，如果确实需要限制，要靠服务器上的访问控制，而不是规则文件。

和 Anthropic 的代理（ClaudeBot）相比，分工类似：一个训练爬虫、一个搜索爬虫、一个响应用户请求的代理，各自分开控制。

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

核实请求是不是真的 GPTBot

User-Agent 可以伪造。OpenAI 把每个代理的 IP 段公布成 JSON 文件：gptbot.json、searchbot.json 和 chatgpt-user.json。把日志里请求的来源地址，和 User-Agent 所写代理对应的文件对照。来自列表之外地址、自称 GPTBot 的请求不是 OpenAI 的。

检查自己的数据

改规则前后，看看每个 OpenAI 代理实际抓了什么：请求数、不同页面数、状态码，以及从 ChatGPT 来的真人访客。如果你禁止了 GPTBot，它对被禁路径的请求应该消失；来自已验证地址、却仍在继续的请求值得细查，来自未验证地址的则根本不是 OpenAI。

示例里，GPTBot 在月中被禁止。之后剩下的请求大多是抓取 robots.txt，这是正常的：爬虫仍会读规则文件。大多数这类爬虫不执行 JavaScript，所以靠页面脚本的统计工具看到的很少；完整计数需要服务器日志。

按目标决定

• 内容不进训练，但留在 ChatGPT 搜索里：禁止 GPTBot，允许 OAI-SearchBot。
• 在 ChatGPT 里尽量可见：允许 GPTBot 和 OAI-SearchBot，并确认关键页面对它们返回 200。
• 不出现在 ChatGPT 搜索里：禁止 OAI-SearchBot；你仍可能以导航链接出现。
• 降低负载：在服务器上限流，规则保持简单。

无论怎么选，robots.txt 规则只是表达你的意愿；要知道它有没有被遵守，就得检查实际抓取。相关内容：AI 爬虫台账、llms.txt、AI 爬虫和 AI 爬虫检查工具。

TapCub 里的 GPTBot

机器人报表列出每个机器人的运营方、用途（搜索、AI 训练、AI 回答引擎、监控）、请求数、页面数、最常见的状态码、最近出现时间和可信度；AI 内容台账按运营方比较抓取量和带回的真人访客（见文档机器人与 AI 爬虫）。默认情况下，识别出的机器人不计入真人报表。不执行 JavaScript 的爬虫需要服务端采集或日志导入。

爬虫合规会抓取你的 robots.txt 并和实际抓取对比：屏蔽后仍抓取、抓取了禁止的路径、比声明的间隔抓得更快。生成器可以起草「屏蔽训练爬虫」这类规则，由你发布（见文档抓取健康与合规）。

常见问题

GPTBot 是什么？

OpenAI 用来抓取可能用于训练生成式 AI 基础模型的内容的爬虫。

怎么屏蔽 GPTBot？

在每个主机根目录的 robots.txt 里加上 User-agent: GPTBot 和 Disallow: /。

屏蔽 GPTBot 会让我的网站从 ChatGPT 搜索里消失吗？

不会。搜索用的是 OAI-SearchBot，它有自己的 robots.txt 设置。

ChatGPT-User 遵守 robots.txt 吗？

OpenAI 表示，因为 ChatGPT-User 的访问由用户发起，robots.txt 规则可能不适用。

robots.txt 改动多久生效？

OpenAI 表示搜索结果大约 24 小时后反映 robots.txt 的更新，其他代理没有给出时间。

相关阅读

• Google-Extended：它控制什么、怎么写进 robots.txt
• Meta-ExternalAgent：Meta 的 AI 爬虫做什么、怎么控制
• Bytespider：是什么、怎么控制