SemrushBot 不是一个爬虫,而是 Semrush 十个代理组成的家族,每个 token 有独立的 robots.txt 设置和用途。本文讲清各代理做什么、按目标怎么写规则、Semrush 实际公布了哪些核实手段、一个 30 天算例,以及怎么把 SEO 读取和 SemrushBot-OCOB 分开决定。
读完你会知道
- SemrushBot 是十个互相独立的 robots.txt token,不是一个爬虫——按 token 决定,不按名字一刀切
- 保 SEO 数据、退出 AI 内容用途:允许 SemrushBot/SiteAuditBot/SplitSignalBot,Disallow SemrushBot-OCOB;Crawl-delay 上限 10 秒(SI 只接受 1 秒)
- 按代理核实:SemrushBot/OCOB 无 IP 清单(官方不建议按 IP 屏蔽);SiteAuditBot 85.208.98.128/25、SemrushBot-SI 85.208.98.0/24 有公布;用自己的数据核对拆分
SemrushBot 是什么
SemrushBot 是 Semrush 派出去发现、收集新增和更新网页数据的爬虫,主 token 为 Backlink Analytics 建立链接索引(见 Semrush 官方机器人说明)。日志里的 User-Agent 形如 SemrushBot/7~bl(第三方 UA 库收录的字符串)。
SemrushBot 不是一个爬虫,而是一组爬虫的总称:Semrush 官方文档里列了十个互相独立的 robots.txt token,每一个都为不同的工具抓取数据。其中 SemrushBot-OCOB 服务的是 Content Toolkit,而不是传统 SEO 数据,所以放行还是屏蔽,要按 token 逐个决定,不能对着 SemrushBot 这个名字一刀切。基础概念先看机器人是什么。
Semrush 爬虫家族
官方机器人页一共列出十个 token,每一个都可以在 robots.txt 里单独允许或屏蔽,互不影响:
- SemrushBot——Backlink Analytics,也就是链接关系图谱(webgraph)。
- SiteAuditBot——Site Audit:页面 SEO、技术和可用性问题。
- SemrushBot-BA——Backlink Audit。
- SemrushBot-SI——On Page SEO Checker 及类似工具。
- SemrushBot-SWA——SEO Writing Assistant 的 URL 检查。
- SplitSignalBot——SplitSignal 的 SEO A/B 测试。
- SemrushBot-FT——Plagiarism Checker 等查重工具。
- RyteBot——Ryte.com 提供的工具。
- SemrushBot-ESI——Semrush Enterprise Site Intelligence 服务。
- SemrushBot-OCOB——Content Toolkit。这是 Semrush 的官方口径;TapCub 的 AI 内容台账把它的读取记为 AI 训练。两个标签、两个出处,各归各的来源。
这十个 token 里,多数抓的是 SEO 和站点质量数据;如果你在意的是内容会不会进 AI 内容工具,OCOB 就是需要单独决定的那一个。GPTBot 也是同样的逻辑:按 token 分开设置。
| robots.txt token | 用途(Semrush 官方口径) | TapCub 识别 |
|---|---|---|
| SemrushBot | Backlink Analytics 的链接索引(webgraph) | 已识别 · SEO |
| SiteAuditBot | Site Audit:页面 SEO、技术与可用性问题 | 已识别 · SEO |
| SemrushBot-BA | Backlink Audit | — |
| SemrushBot-SI | On Page SEO Checker 及类似工具 | — |
| SemrushBot-SWA | SEO Writing Assistant 的 URL 检查 | — |
| SplitSignalBot | SplitSignal SEO A/B 测试 | 已识别 · SEO |
| SemrushBot-OCOB | Content Toolkit(TapCub 台账记为 AI 训练) | 已识别 · AI 训练 |
| SemrushBot-FT | Plagiarism Checker 等查重工具 | — |
| RyteBot | Ryte.com 提供的工具 | — |
| SemrushBot-ESI | Semrush Enterprise Site Intelligence 服务 | — |
来源:semrush.com/bot/,2026-11-15 核对。各 token 独立控制。TapCub 确认识别的只有四个 token;OCOB 的官方口径是 Content Toolkit,「AI 训练」是 TapCub 台账的分类。
各代理的 robots.txt 写法
robots.txt 放在每个主机的根目录,每个子域名都要有自己的那份。很多站长的目标是一致的:保住 SEO 数据,同时退出 Content Toolkit 爬虫。下面的代码就是这个组合:允许 SemrushBot 并设 10 秒间隔,允许 SiteAuditBot 和 SplitSignalBot,屏蔽 SemrushBot-OCOB。想拦别的工具,把代码里的 token 换成对应的那一个即可——整个家族没有一个总开关,屏蔽一个不影响其他。文件基础见 robots.txt Disallow。
官方机器人页里这几个细节会直接影响结果:
- 文件必须返回 HTTP 200。返回 4xx,SemrushBot 会当作没有任何限制;返回 5xx,它会停止抓取整个站点;3xx 可以处理。
- 改动最多要 1 小时或 100 次请求才会被发现。
- SemrushBot 支持 Crawl-delay,上限 10 秒,写更大的值会被截到 10。
Crawl-delay: 10= 每 10 秒 1 次请求 = 每分钟 6 次;写 30 没有额外效果。不设 delay 时,SemrushBot 会按服务器负载自适应。 - SemrushBot-SI 只接受 1 秒的 crawl-delay;值更高,On Page SEO Checker 会忽略该页面(KB 375)。
User-agent: SemrushBot
Allow: /
Crawl-delay: 10
User-agent: SiteAuditBot
Allow: /
User-agent: SplitSignalBot
Allow: /
User-agent: SemrushBot-OCOB
Disallow: /核实 SemrushBot 请求
User-Agent 字符串谁都能写,它只是声明,不是证明。能核实到什么程度,要看具体是哪个代理,因为 Semrush 为不同代理公布的信息并不一样:
- SemrushBot 和 SemrushBot-OCOB:Semrush 没有公布 IP 清单,也没有反查 DNS 的验证方法,并且明说不要用 IP 屏蔽,因为它不使用连续的 IP 段(官方机器人页)。按 token 匹配后当作未验证处理,再看行为:顺着链接抓全站符合爬虫特征;只打一次登录接口就不像。
- SiteAuditBot:Site Audit 的 FAQ 公布了子网 85.208.98.128/25,仅 Site Audit 使用,走 80 和 443 端口(Site Audit 设置错误 FAQ)。把日志里的来源地址和它对照。
- SemrushBot-SI:KB 375 列出加白用的 85.208.98.53 和 85.208.98.0/24(KB 375)。
如果某个 Semrush token 不遵守你的规则,把日志片段发到 bot@semrush.com,这是 Semrush 给出的机器人问题联系方式。
检查自己的数据
做决定之前,先数清楚每个 token 在你的站点上实际抓了多少。下面是示例数据,单个站点、30 天:
- SemrushBot:4,800 次请求,1,150 个页面。
- SiteAuditBot:2,300 次请求,640 个页面。
- SplitSignalBot:420 次请求,90 个页面。
- SemrushBot-OCOB:1,900 次请求,460 个页面。
SEO 小计:4,800 + 2,300 + 420 = 7,520 次请求(1,150 + 640 + 90 = 1,880 个页面)。家族合计:7,520 + 1,900 = 9,420 次请求(2,340 个页面)。Semrush 工具带回的真人访问:0——纯读取,不是流量。
对 OCOB 加 Disallow: / 后的下一个 30 天:60 次请求、1 个页面,基本是抓 robots.txt;减少 1,840 次(−96.8%),SEO 各 token 仍是 7,520 次。
为什么一定要拆开看:真人访问 12,000、转化 300,转化率是 300 ÷ 12,000 = 2.5%。把 9,420 次机器人请求混进分母,就变成 300 ÷ 21,420 ≈ 1.4%——一个真访客都没少,转化率却被稀释约 1.1 个百分点。
不执行 JavaScript 的爬虫不会触发页面脚本,只装脚本的统计可能漏掉它们;要数全,得靠服务端记录或日志导入。
机器人报表里的 Semrush · 近 30 天
本期结束后禁止 OCOB| 机器人 | 用途 | 请求数 | 访问页面数 | Top 状态码 | 可信等级 |
|---|---|---|---|---|---|
| SemrushBot(含 SiteAuditBot、SplitSignalBot) | SEO 工具 | 7,520 | 1,880 | 200 | 未验证 |
| SemrushBot-OCOB | AI 训练 | 1,900 | 460 | 200 | 未验证 |
| SemrushBot-OCOB(规则生效后) | 只读 robots.txt | 60 | 1 | 200 | 未验证 |
Semrush 工具带回的真人访问:0
按目的决定
| 如果你的目的是… | 那就… |
|---|---|
| Semrush 工具里的数据要准 | 允许你在用的 SEO token(SemrushBot、SiteAuditBot、SplitSignalBot 等);屏蔽它们,你的页面就会从这些工具的数据里消失。 |
| 内容不进 AI 内容工具 | 只 Disallow SemrushBot-OCOB;SEO 各 token 照常工作。 |
| 降低服务器负载 | 给 SemrushBot 设不超过 10 秒的 Crawl-delay,而不是全拦。 |
| 担心 Google 排名 | 不用动:Semrush 系不是搜索引擎爬虫,屏蔽它们改变的是 Semrush 工具里的数据,不是 Google 收录。 |
一个家族,分开决定:留下对你有用的 SEO 读取,退出你不想要的那部分——然后回到自己的抓取数据里核对结果,因为规则在爬虫真正遵守之前,都只是你的意愿。相关:AI 爬虫。
TapCub 里的 SemrushBot
上面那个 30 天 9,420 次家族请求的站点,在 TapCub 里这样拆开看、分开决定:
- 看 TapCub 能拆到哪一层。 打开 网站统计 › 机器人 的「全部机器人」页签。Semrush 在这里是两行:SemrushBot,用途「SEO 工具」,SiteAuditBot 和 SplitSignalBot 两种 User-Agent 也计在这一行(示例里 7,520 次请求);SemrushBot-OCOB,用途「AI 训练」(1,900 次)。每行有请求数、访问页面数、Top 状态码、最后发现、可信等级和命中检测层。SEO 那一行里 4,800 / 2,300 / 420 的拆分,要看原始日志,TapCub 不拆。
- 看 AI 内容账本。 在「AI 与智能体」页签,「AI 内容账本」按运营商列出读取次数,训练爬虫和答案引擎分列。OCOB 的 1,900 次读取记在 Semrush 名下的训练列,带回真人访客 0。SEO 那一行不是 AI 爬虫,不进账本。决定就在这一屏:要 Semrush 工具里数据准,就留着 SEO 各 token;不想内容进 AI 内容工具,就单独 Disallow OCOB。
- 发布后复查。 在 robots.txt 发布 OCOB 的
Disallow,等约 1 小时或 100 次请求,回「全部机器人」核对:OCOB 从 1,900 降到 60,SEO 那一行不变。监测 › 爬虫合规 把实际抓取和你的规则对比,列出被全局禁止仍抓取、抓了写明不允许的路径、抓取间隔短于声明的延迟三类违规。OCOB 属于 AI 爬虫,也会出现在 监测 › 抓取健康 里;SEO 那一行不会。 - 看懂可信等级。 TapCub 对 Semrush 的爬虫不做 DNS 校验,所以可信等级显示「未验证」,这不等于伪装。有公布子网的,按上文的子网核对。认错了可以点「报告误判」。
TapCub 不做的事:它只衡量,不替你拦,规则始终在你的 robots.txt 和服务器上。Semrush 另外六个 token,TapCub 不单独认名字。只装页面脚本时,只能看到会执行 JavaScript 的机器人;要数全、要做合规检查,得接服务端采集或通过接口导入日志。详见 机器人与 AI 爬虫。
常见问题
SemrushBot 是什么?
SemrushBot 是 Semrush 十代理家族里的主爬虫,为 Backlink Analytics 等工具收集网页数据。这个名字也常被用来泛指整个家族,包括 SiteAuditBot、SplitSignalBot 和 SemrushBot-OCOB。每个 token 有自己的用途,也有自己独立的 robots.txt 设置。
怎么屏蔽 SemrushBot?
在每个主机根目录的 robots.txt 里按 token 各写一组,例如 User-agent: SemrushBot-OCOB 加 Disallow: /。文件必须返回 HTTP 200,每个子域名各有一份。改动最多要 1 小时或 100 次请求才会生效。
屏蔽 SemrushBot 会影响 Google 排名吗?
不会。Semrush 系代理为 Semrush 工具收集数据,不是搜索引擎爬虫,不决定 Google 收录或排名。屏蔽它们,改变的只是 Semrush 工具里能看到什么——你的外链或审计数据可能在那里变旧,甚至消失。
能用 IP 或反查 DNS 核实 SemrushBot 吗?
只能部分核实。Semrush 对 SemrushBot 和 OCOB 不公布 IP 清单,也没有反查 DNS 方法,并明说不要按 IP 屏蔽。SiteAuditBot 有公布子网 85.208.98.128/25;SemrushBot-SI 列出 85.208.98.53 和 85.208.98.0/24。其余 token 的 User-Agent 只是声明,不是证明。
SemrushBot 支持 Crawl-delay 吗?
支持,上限 10 秒,更大的值会被截到 10,所以 Crawl-delay: 10 意味着每分钟最多 6 次请求。不设 delay 时按服务器负载自适应。例外是 SemrushBot-SI:On Page SEO Checker 只接受 1 秒,更高就忽略页面。
SemrushBot-OCOB 是什么——是 AI 训练吗?
Semrush 官方把 OCOB 的用途写为 Content Toolkit;TapCub 在 AI 内容台账里把它的读取归为 AI 训练。两个标签来自不同出处。落到做法上是一样的:不想让内容进 AI 内容工具,就把这个 token 和 SEO 各代理分开,单独屏蔽它。
相关阅读
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

