TapCub 正式上线:统计、分析、客服一个平台免费用
分类

AI 搜索与爬虫

AI 助手抓取你的页面用来训练、引用和回答。这个系列讲怎样识别它们、robots.txt 和 llms.txt 与实际命中怎么对,以及它们到底带回多少访客。

AI 爬虫已经是大多数网站流量里看得见的一部分。这些文章解释 TapCub 怎样把它们与搜索爬虫和真人分开、怎样读爬虫账本、怎样写并验证一份 llms.txt。目标是一个站得住的决定:允许、限制还是封禁,依据是每个爬虫拿走了什么、又带回了什么。

「AI 搜索」分类下的文章

39 篇文章

示例数据:12,000 次真人会话里有 96 次来自 AI 引荐(0.80%)。ChatGPT 60/96 = 62.5%。不是行业基准。
AI 搜索2026 年 11 月 21 日 · 11 分钟阅读

AI 引荐流量:怎么识别和衡量

AI 引荐流量是有人点了 ChatGPT、Perplexity、Gemini 回答里的链接来到你网站。它和 AI 爬虫有什么不同、在统计里长什么样、为什么被低估、怎么衡量。

阅读全文
示例数据:单站 30 天,服务端记录。TapCub 把 SemrushBot、SiteAuditBot、SplitSignalBot 计在同一行 SEO(4,800 + 2,300 + 420)。Disallow 后 OCOB 从 1,900 降到 60(−96.8%),SEO 那一行保持 7,520。
AI 搜索2026 年 11 月 16 日 · 8 分钟阅读

SemrushBot:一组十个爬虫,怎么分开决定

SemrushBot 是 Semrush 的爬虫家族,十个 robots.txt token 各自独立。各做什么、怎么保住 SEO 数据又单独退出 SemrushBot-OCOB、怎么核实请求、按目的怎么决定。

阅读全文
示例数据:PerplexityBot 读取 8,000 页、带回 120 名访客(1.5%,约 67 次读取换 1 名访客);训练爬虫读取 6,000 页、带回≈0(0%)。 在 TapCub 里,账本把同一行写成约 67 次读取 : 1 访客,「AI 可见性」里的抓取→访问比是 1.5%。
AI 搜索2026 年 11 月 16 日 · 8 分钟阅读

PerplexityBot:它读什么、带回什么,以及要不要放行

PerplexityBot 读取网页,让 Perplexity 答案能引用你的网站;Perplexity-User 按用户请求抓页。两个代理各做什么、robots.txt 怎么写、怎么按 IP 核实,以及用读取量与带回访客的比值决定放不放行。

阅读全文
示例数据:30 天,服务端记录。第 15 天加规则后,CCBot 只抓 robots.txt(每天约 2 次 × 15 天 = 30)。TapCub 对 CCBot 不做 DNS 校验,可信等级显示「未验证」;验真用反向 DNS 或 ccbot.json。
AI 搜索2026 年 11 月 16 日 · 8 分钟阅读

CCBot:Common Crawl 的数据集爬虫,屏蔽它到底改变什么

CCBot 建起 Common Crawl 的免费公开数据集,GPT-3、LLaMA、BLOOM 的训练语料都有论文出处。它抓什么、怎么核实、robots.txt 怎么写,以及为什么屏蔽只影响以后的快照。

阅读全文
示例数据:服务端记录。Applebot 经反向 DNS 到 applebot.apple.com 验证;Extended 从不抓取;错误规则生效后只剩 robots.txt 请求。
AI 搜索2026 年 11 月 16 日 · 9 分钟阅读

Applebot 和 Applebot-Extended:两个身份,分别控制

Applebot 给 Spotlight、Siri 和 Safari 搜索抓内容;Applebot-Extended 只是 robots.txt 里的 AI 训练开关。两个代理各做什么、三种规则写法、DNS 与 IP 核实,以及屏蔽错了会损失多少的算例。

阅读全文
示例数据:演示项目,服务端记录,近 30 天。规则生效后,Amazonbot 只抓取 robots.txt。TapCub 对 Amazon 不做 DNS 校验,可信等级显示「未验证」;来源 IP 要对照亚马逊的 IP 文件。
AI 搜索2026 年 11 月 16 日 · 8 分钟阅读

Amazonbot:亚马逊的三个爬虫,以及怎么分别控制

Amazonbot 是亚马逊的爬虫,它读取的内容可能用于训练 Amazon AI 模型,是三个 robots.txt 设置互相独立的亚马逊代理之一。各自做什么、按目标怎么写规则、怎么按 IP 核实,以及一个读取量对比回流量的算例。

阅读全文
示例数据:TapCub 把 Ahrefs 的两种 User-Agent 计在同一行 AhrefsBot(38,400 + 3,400 次请求)。TapCub 对 Ahrefs 不做 DNS 校验,所以可信等级显示「未验证」;验真用反向 DNS 或 Ahrefs 的 IP 名单。
AI 搜索2026 年 11 月 16 日 · 7 分钟阅读

AhrefsBot:Ahrefs 的两个爬虫,放行还是屏蔽

AhrefsBot 替 Ahrefs 用户(包括竞争对手)读你的网站,不带回访客。两个爬虫各做什么、robots.txt 怎么允许/屏蔽/限速、怎么验真、按什么决定放行。

阅读全文
零点击搜索:数据说明了什么,该怎么应对
AI 搜索2026 年 11 月 6 日 · 4 分钟阅读

零点击搜索:数据说明了什么,该怎么应对

现在约 60% 的 Google 搜索没有点击。讲清什么是零点击搜索、哪些搜索受影响最大、一个展现涨 4% 点击跌 20% 的前后对比算例,以及七个应对方法。

阅读全文
多语言 SEO:地址结构、hreflang 和一次审计算例
AI 搜索2026 年 11 月 6 日 · 5 分钟阅读

多语言 SEO:地址结构、hreflang 和一次审计算例

怎么让网站在多种语言的搜索里排上去:选地址结构、最容易出错的 hreflang 规则、关键词本地化,以及一次审计算例:修好 hreflang 后德语点击涨到三倍多、日语涨到六倍多。

阅读全文
一家新域名 B2B 初创公司的示例数字。
AI 搜索2026 年 11 月 6 日 · 5 分钟阅读

初创公司 SEO:把搜索变成注册的 12 个月计划

初创公司什么时候该开始做 SEO、新域名能拿下哪些关键词、一份 12 个月计划,以及一个算例:漏斗底部页面带来 28% 的自然流量和 74% 的注册。

阅读全文
网络爬虫:怎么工作、有哪些类型、怎么验证
AI 搜索2026 年 11 月 6 日 · 5 分钟阅读

网络爬虫:怎么工作、有哪些类型、怎么验证

什么是网络爬虫、每个爬虫都会走的六步、搜索爬虫与 AI 训练爬虫和 AI 搜索爬虫的区别、一周服务器日志里的冒充 Googlebot 算例,以及怎么验证和控制爬虫。

阅读全文
AI 可见性:在 AI 搜索里怎么衡量、怎么提升
AI 搜索2026 年 11 月 6 日 · 6 分钟阅读

AI 可见性:在 AI 搜索里怎么衡量、怎么提升

AI 可见性指 AI 答案读取、引用你的网站并把人带回来的程度。讲清要衡量的三层、四个指标、一个按运营商拆开的月度 AI 流量算例,以及七个提升方法。

阅读全文
单页应用 SEO:路由、状态码和统计
AI 搜索2026 年 11 月 5 日 · 5 分钟阅读

单页应用 SEO:路由、状态码和统计

单页应用要让每个客户端视图在爬虫和统计眼里都像真正的页面。七项要求、history 和 hash 路由、软 404 的修法、一次让收录页面从 15 个增加到 271 个的改造,以及怎么正确统计 SPA 的页面浏览。

阅读全文
JavaScript SEO:Google 和 AI 爬虫怎么处理 JS,以及怎么修
AI 搜索2026 年 11 月 5 日 · 5 分钟阅读

JavaScript SEO:Google 和 AI 爬虫怎么处理 JS,以及怎么修

JavaScript SEO 确保爬虫能看到脚本生成的内容。讲清 Google 怎么抓取、渲染、收录 JS 页面,为什么大多数 AI 爬虫只看到空壳,各种渲染方式、常见问题,以及一次收录率从 53% 提到 94% 的目录审计。

阅读全文
示例数据。一周的服务端抓取数据。
AI 搜索2026 年 11 月 4 日 · 3 分钟阅读

Bytespider:是什么、怎么控制

Bytespider 是字节跳动(TikTok 背后的公司)运营的网络爬虫。很多站长因为它的请求量而注意到它。讲清它的用户代理、一个衡量负载和 robots.txt 遵守情况的完整一周例子,以及从 robots.txt 到防火墙屏蔽的各种做法。

阅读全文
示例数据,以及撰写时 Google 文档的要点。
AI 搜索2026 年 11 月 4 日 · 3 分钟阅读

Google-Extended:它控制什么、怎么写进 robots.txt

Google-Extended 是 robots.txt 里的一个标记,不是单独的爬虫。它让你选择 Google 抓取的内容能不能用于 Gemini 模型和其他一些 AI 产品,而不影响 Google 搜索。讲清它控制什么、不控制什么,以及怎么设置。

阅读全文
示例数据。一个月的服务端抓取数据。
AI 搜索2026 年 11 月 4 日 · 3 分钟阅读

Meta-ExternalAgent:Meta 的 AI 爬虫做什么、怎么控制

Meta-ExternalAgent 是 Meta 用来为 AI 训练和索引收集网页内容的爬虫。讲清它和 Meta 链接预览爬虫的区别、怎么验证、一个对比它读了多少和 Meta 带回多少访客的完整月度例子,以及 robots.txt 规则。

阅读全文
示例数据。三个月后,博客自然搜索访客每月从 42,000 涨到 46,500。
AI 搜索2026 年 11 月 4 日 · 3 分钟阅读

内容修剪:旧页面该更新、合并还是删除

内容修剪是检查旧页面,把不再值得保留的改好、合并或删除。讲清用流量、外链和转化一起判断的规则,一个修剪 600 篇文章的完整例子,以及怎么删页面而不丢掉价值。

阅读全文
示例数据。百分比 = 最近四周平均 ÷ 流量最高四周平均。
AI 搜索11 月更新2026 年 11 月 4 日 · 4 分钟阅读

内容衰减:怎么发现、诊断和修复

内容衰减是曾经表现好的页面流量慢慢流失。讲清怎么用数字定义它、怎么排除季节性和全站下降、怎么按曝光、排名和点击率诊断,以及该更新、合并还是不动。

阅读全文
示例数据。一周的服务端抓取数据。
AI 搜索2026 年 11 月 4 日 · 3 分钟阅读

Bingbot:是什么、怎么验证、怎么控制抓取

Bingbot 是微软为 Bing 搜索抓取网页的爬虫。讲清它的用户代理、怎么用反向 DNS 验证真假、一周内和 Googlebot 对比的完整例子(含假冒的 Bingbot)、怎么控制抓取频率,以及 IndexNow 怎么加快收录。

阅读全文
示例数据。网站地图 1,200 个网址,站内链接能到达 1,050 个。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

孤立页面:怎么找出来、怎么处理

孤立页面在你网站上存在,但没有任何其他页面链接到它,访客和搜索引擎都很难找到。讲清怎么通过对比网址清单找出它们,附 150 个孤立页面的完整例子,以及什么时候该加链接、跳转或删除。

阅读全文
示例数据。估算用的是网站自己 3–5 名的点击率中位数(6%)。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

怎么提升自然搜索:先从已经有排名的页面下手

自然搜索最快的收获通常来自已经有排名的页面:改掉点击率低的标题,把排在 8–20 名的页面推进前 5,更新正在衰减的内容,清掉技术障碍。附一个带点击估算的完整例子。

阅读全文
示例数据。一周的 Googlebot 抓取,按状态码。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

抓取错误:类型、原因和修复方法

抓取错误是搜索引擎爬虫的失败请求:DNS 和服务器错误、超时、404、跳转问题。讲清主要类型、各自原因、一周 Googlebot 数据的完整例子,以及修复的先后顺序。

阅读全文
示例数据。按品牌词拆分的一个月搜索查询。
AI 搜索2026 年 11 月 4 日 · 3 分钟阅读

品牌词和非品牌词:该追踪什么、怎么汇报

品牌词包含你的品牌名,非品牌词描述的是需求。两者在搜索里的表现差别很大。讲清怎么在自己的数据里把它们分开,附一个完整例子,以及哪一类才代表真正的 SEO 增长。

阅读全文
示例数据。自称 Googlebot 的请求,八次里就有一次不是 Google。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

Googlebot:是什么、怎么抓取、怎么验证真假

Googlebot 是 Google 为搜索抓取网页用的爬虫。它怎么抓取和渲染、日志里还会看到哪些 Google 爬虫、怎么分辨真假 Googlebot,以及一个月的日志示例。

阅读全文
示例数据。将近三分之一的内容需要更新;十个页面里有一个没有保留的理由。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

内容审计:逐页检查,决定每个页面怎么处理

内容审计把每个页面的流量、转化、外链和趋势列出来,再决定保留、更新、合并还是删除。要收集哪些数据、判断规则,以及一份 120 个页面的示例。

阅读全文
示例数据。以业务 KPI 打头的季度记分卡。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

SEO KPI:判断 SEO 有没有用的 10 个指标

不是每个 SEO 指标都是 KPI。按业务、可见度、技术健康三层列出 10 个 SEO KPI,附计算公式、数据来源、一份季度记分卡示例和定目标的方法。

阅读全文
示例数据。一份落到行动上的 SEO 周看板。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

SEO 看板:放什么、怎么看

SEO 看板要回答三个问题:自然搜索有没有带来业务、我们是不是更容易被搜到、有没有哪里坏了。一个四行布局、一份带数字的周看板示例,以及哪些不该放。

阅读全文
示例数据。内容合在一起的一个页面,排得比分摊同一个词的两个页面更好。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

关键词自相残杀:怎么发现、确认和解决

关键词自相残杀是指站内两个页面争同一个搜索词,结果两个都比只有一个时排得更差。怎么区分真问题和无害的重叠,一个点击被分走的例子,以及该用哪种修法。

阅读全文
示例数据。三个页面几乎占了全部下降。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

网站流量突然下降?15 分钟排查法

网站流量突然下降时,先确认是真的降了,再找出下降在哪个渠道、哪些页面和设备上。一套分步排查方法、一张原因与证据对照表,以及一个完整示例。

阅读全文
示例数据。−6% 主要来自一个落地页,其余页面基本持平。
AI 搜索2026 年 11 月 4 日 · 4 分钟阅读

什么是自然流量?怎么统计、怎么提升

自然流量是来自搜索引擎非付费结果的访问。统计工具怎么判断一次访问属于自然流量、它和付费、直接流量有什么不同、一个示例拆解,以及提升流量和排查下降的步骤。

阅读全文
示例数字。两列各自加起来是全部抓取和全部自然访问。
AI 搜索2026 年 11 月 3 日 · 4 分钟阅读

SEO 日志分析:不依赖工具的方法,六个问题

服务器日志记录的是搜索引擎爬虫实际请求了什么,而不是抓取工具的推测。怎么拿到日志、验证 Googlebot 是真的,以及用六个问题把原始日志变成 SEO 修复项。

阅读全文
示例数字。违规者要在服务器上拦,而不是靠 robots.txt。
AI 搜索11 月更新2026 年 11 月 3 日 · 7 分钟阅读

robots.txt 禁止所有爬虫:能挡什么、挡不了什么,以及更稳妥的写法

robots.txt 里的两行就能要求所有爬虫别碰整个网站。它实际做了什么、没做什么(不会隐藏网址,也保护不了任何东西),常见变体和 Google 怎么处理冲突规则,以及怎么检查哪些爬虫真的遵守。

阅读全文
示例数字。每页每周 = 抓取次数 ÷ 页面数 ÷ 4.3。
AI 搜索2026 年 11 月 3 日 · 4 分钟阅读

Google 多久抓取一次网站?先量出来,再让它更快

Google 没有固定的抓取周期:首页可能一天被抓很多次,深层商品页可能一个月才一次。怎么在自己的网站上按页面类型量出抓取频率,以及什么做法真能让新页面更快被抓取。

阅读全文
示例数字。成功指状态码低于 400。
AI 搜索2026 年 11 月 3 日 · 5 分钟阅读

抓取预算:对你的网站重要吗,又花在了哪里?

抓取预算是搜索引擎愿意并且能够在你的网站上抓取多少。什么时候需要关心、什么在浪费它,以及怎么读服务器日志,看搜索引擎和 AI 爬虫的请求到底花在了哪里。

阅读全文
演示项目示例,已导入日志。规则生效后,GPTBot 只抓取 robots.txt。
AI 搜索2026 年 11 月 3 日 · 5 分钟阅读

GPTBot:OpenAI 的四个爬虫,以及怎么分别控制

GPTBot 是 OpenAI 的训练爬虫,是四个 robots.txt 设置互相独立的 OpenAI 代理之一。各自做什么、退出后会怎样、常见目标下的规则,以及怎么核实、怎么在自己的数据里检查。

阅读全文
演示项目示例。来自 Anthropic 列表之外地址、自称 ClaudeBot 的请求不算已验证。
AI 搜索2026 年 11 月 3 日 · 5 分钟阅读

ClaudeBot:抓什么、怎么屏蔽、怎么核实

ClaudeBot 是 Anthropic 的三个网络代理之一。每个代理做什么、屏蔽后会怎样、常见目标下 robots.txt 怎么写、怎么用 Anthropic 公布的 IP 列表核实请求,以及怎么在自己的数据里看到 ClaudeBot。

阅读全文
演示项目示例。合规页抓取两个文件,并用真实抓取对照 robots.txt 规则;llms.txt 被抓的次数要看你的服务器日志。
AI 搜索11 月更新2026 年 9 月 17 日 · 6 分钟阅读

llms.txt 怎么写:结构、示例和怎么核实有没有人读

llms.txt 是什么、不是什么,提案定义的结构,一份真实示例,它和 robots.txt 怎么保持一致,以及怎么在服务器日志里核实 AI 爬虫有没有读。

阅读全文
演示项目。高亮行:每次读取带回人最多的厂商。
AI 搜索11 月更新2026 年 3 月 26 日 · 7 分钟阅读

怎么屏蔽 AI 爬虫:User-Agent 清单、robots.txt 写法和核实方法

GPTBot、ClaudeBot、Google-Extended 各干各的活。该挡哪些 AI 爬虫、robots.txt 怎么写、哪些要在服务器上拦,以及怎么确认规则生效。

阅读全文
邮件订阅

每月一封,只在有值得读的内容时发

新文章、产品里真正上线的变化,偶尔附一份可以直接转给团队的核对清单。

  • 先讲文章。每期开头是最新的一篇长文,用三行话概括。
  • 只写有影响的产品变化。新报表、新 SDK、改动的默认值,不写营销废话。
  • 一键退订。每封邮件底部都有链接,点了立即生效。

大约每月一封。我们不会把你的邮箱给任何人。

你关心的话题

订阅即表示你同意接收 TapCub 邮件通讯。详见隐私政策。

订阅成功。

下一期在月初发出。在那之前,所有文章都在博客里。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie