TapCub 正式上线:统计、分析、客服一个平台免费用
标签

robots.txt

带「robots.txt」标签的文章共 12 篇。标签跨越分类,所以统计、客服和产品类文章可能并排出现。

标签:robots.txt

12 篇文章

示例数据:单站 30 天,服务端记录。TapCub 把 SemrushBot、SiteAuditBot、SplitSignalBot 计在同一行 SEO(4,800 + 2,300 + 420)。Disallow 后 OCOB 从 1,900 降到 60(−96.8%),SEO 那一行保持 7,520。
AI 搜索2026 年 11 月 16 日 · 8 分钟阅读

SemrushBot:一组十个爬虫,怎么分开决定

SemrushBot 是 Semrush 的爬虫家族,十个 robots.txt token 各自独立。各做什么、怎么保住 SEO 数据又单独退出 SemrushBot-OCOB、怎么核实请求、按目的怎么决定。

阅读全文
示例数据:PerplexityBot 读取 8,000 页、带回 120 名访客(1.5%,约 67 次读取换 1 名访客);训练爬虫读取 6,000 页、带回≈0(0%)。 在 TapCub 里,账本把同一行写成约 67 次读取 : 1 访客,「AI 可见性」里的抓取→访问比是 1.5%。
AI 搜索2026 年 11 月 16 日 · 8 分钟阅读

PerplexityBot:它读什么、带回什么,以及要不要放行

PerplexityBot 读取网页,让 Perplexity 答案能引用你的网站;Perplexity-User 按用户请求抓页。两个代理各做什么、robots.txt 怎么写、怎么按 IP 核实,以及用读取量与带回访客的比值决定放不放行。

阅读全文
示例数据:30 天,服务端记录。第 15 天加规则后,CCBot 只抓 robots.txt(每天约 2 次 × 15 天 = 30)。TapCub 对 CCBot 不做 DNS 校验,可信等级显示「未验证」;验真用反向 DNS 或 ccbot.json。
AI 搜索2026 年 11 月 16 日 · 8 分钟阅读

CCBot:Common Crawl 的数据集爬虫,屏蔽它到底改变什么

CCBot 建起 Common Crawl 的免费公开数据集,GPT-3、LLaMA、BLOOM 的训练语料都有论文出处。它抓什么、怎么核实、robots.txt 怎么写,以及为什么屏蔽只影响以后的快照。

阅读全文
示例数据:服务端记录。Applebot 经反向 DNS 到 applebot.apple.com 验证;Extended 从不抓取;错误规则生效后只剩 robots.txt 请求。
AI 搜索2026 年 11 月 16 日 · 9 分钟阅读

Applebot 和 Applebot-Extended:两个身份,分别控制

Applebot 给 Spotlight、Siri 和 Safari 搜索抓内容;Applebot-Extended 只是 robots.txt 里的 AI 训练开关。两个代理各做什么、三种规则写法、DNS 与 IP 核实,以及屏蔽错了会损失多少的算例。

阅读全文
示例数据:演示项目,服务端记录,近 30 天。规则生效后,Amazonbot 只抓取 robots.txt。TapCub 对 Amazon 不做 DNS 校验,可信等级显示「未验证」;来源 IP 要对照亚马逊的 IP 文件。
AI 搜索2026 年 11 月 16 日 · 8 分钟阅读

Amazonbot:亚马逊的三个爬虫,以及怎么分别控制

Amazonbot 是亚马逊的爬虫,它读取的内容可能用于训练 Amazon AI 模型,是三个 robots.txt 设置互相独立的亚马逊代理之一。各自做什么、按目标怎么写规则、怎么按 IP 核实,以及一个读取量对比回流量的算例。

阅读全文
示例数据:TapCub 把 Ahrefs 的两种 User-Agent 计在同一行 AhrefsBot(38,400 + 3,400 次请求)。TapCub 对 Ahrefs 不做 DNS 校验,所以可信等级显示「未验证」;验真用反向 DNS 或 Ahrefs 的 IP 名单。
AI 搜索2026 年 11 月 16 日 · 7 分钟阅读

AhrefsBot:Ahrefs 的两个爬虫,放行还是屏蔽

AhrefsBot 替 Ahrefs 用户(包括竞争对手)读你的网站,不带回访客。两个爬虫各做什么、robots.txt 怎么允许/屏蔽/限速、怎么验真、按什么决定放行。

阅读全文
示例数字。违规者要在服务器上拦,而不是靠 robots.txt。
AI 搜索11 月更新2026 年 11 月 3 日 · 7 分钟阅读

robots.txt 禁止所有爬虫:能挡什么、挡不了什么,以及更稳妥的写法

robots.txt 里的两行就能要求所有爬虫别碰整个网站。它实际做了什么、没做什么(不会隐藏网址,也保护不了任何东西),常见变体和 Google 怎么处理冲突规则,以及怎么检查哪些爬虫真的遵守。

阅读全文
示例数字。成功指状态码低于 400。
AI 搜索2026 年 11 月 3 日 · 5 分钟阅读

抓取预算:对你的网站重要吗,又花在了哪里?

抓取预算是搜索引擎愿意并且能够在你的网站上抓取多少。什么时候需要关心、什么在浪费它,以及怎么读服务器日志,看搜索引擎和 AI 爬虫的请求到底花在了哪里。

阅读全文
演示项目示例,已导入日志。规则生效后,GPTBot 只抓取 robots.txt。
AI 搜索2026 年 11 月 3 日 · 5 分钟阅读

GPTBot:OpenAI 的四个爬虫,以及怎么分别控制

GPTBot 是 OpenAI 的训练爬虫,是四个 robots.txt 设置互相独立的 OpenAI 代理之一。各自做什么、退出后会怎样、常见目标下的规则,以及怎么核实、怎么在自己的数据里检查。

阅读全文
演示项目示例。来自 Anthropic 列表之外地址、自称 ClaudeBot 的请求不算已验证。
AI 搜索2026 年 11 月 3 日 · 5 分钟阅读

ClaudeBot:抓什么、怎么屏蔽、怎么核实

ClaudeBot 是 Anthropic 的三个网络代理之一。每个代理做什么、屏蔽后会怎样、常见目标下 robots.txt 怎么写、怎么用 Anthropic 公布的 IP 列表核实请求,以及怎么在自己的数据里看到 ClaudeBot。

阅读全文
演示项目示例。合规页抓取两个文件,并用真实抓取对照 robots.txt 规则;llms.txt 被抓的次数要看你的服务器日志。
AI 搜索11 月更新2026 年 9 月 17 日 · 6 分钟阅读

llms.txt 怎么写:结构、示例和怎么核实有没有人读

llms.txt 是什么、不是什么,提案定义的结构,一份真实示例,它和 robots.txt 怎么保持一致,以及怎么在服务器日志里核实 AI 爬虫有没有读。

阅读全文
演示项目。高亮行:每次读取带回人最多的厂商。
AI 搜索11 月更新2026 年 3 月 26 日 · 7 分钟阅读

怎么屏蔽 AI 爬虫:User-Agent 清单、robots.txt 写法和核实方法

GPTBot、ClaudeBot、Google-Extended 各干各的活。该挡哪些 AI 爬虫、robots.txt 怎么写、哪些要在服务器上拦,以及怎么确认规则生效。

阅读全文
邮件订阅

每月一封,只在有值得读的内容时发

新文章、产品里真正上线的变化,偶尔附一份可以直接转给团队的核对清单。

  • 先讲文章。每期开头是最新的一篇长文,用三行话概括。
  • 只写有影响的产品变化。新报表、新 SDK、改动的默认值,不写营销废话。
  • 一键退订。每封邮件底部都有链接,点了立即生效。

大约每月一封。我们不会把你的邮箱给任何人。

你关心的话题

订阅即表示你同意接收 TapCub 邮件通讯。详见隐私政策。

订阅成功。

下一期在月初发出。在那之前,所有文章都在博客里。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie