robots.txt
带「robots.txt」标签的文章共 12 篇。标签跨越分类,所以统计、客服和产品类文章可能并排出现。
标签:robots.txt
12 篇文章

SemrushBot:一组十个爬虫,怎么分开决定
SemrushBot 是 Semrush 的爬虫家族,十个 robots.txt token 各自独立。各做什么、怎么保住 SEO 数据又单独退出 SemrushBot-OCOB、怎么核实请求、按目的怎么决定。
阅读全文
PerplexityBot:它读什么、带回什么,以及要不要放行
PerplexityBot 读取网页,让 Perplexity 答案能引用你的网站;Perplexity-User 按用户请求抓页。两个代理各做什么、robots.txt 怎么写、怎么按 IP 核实,以及用读取量与带回访客的比值决定放不放行。
阅读全文
CCBot:Common Crawl 的数据集爬虫,屏蔽它到底改变什么
CCBot 建起 Common Crawl 的免费公开数据集,GPT-3、LLaMA、BLOOM 的训练语料都有论文出处。它抓什么、怎么核实、robots.txt 怎么写,以及为什么屏蔽只影响以后的快照。
阅读全文
Applebot 和 Applebot-Extended:两个身份,分别控制
Applebot 给 Spotlight、Siri 和 Safari 搜索抓内容;Applebot-Extended 只是 robots.txt 里的 AI 训练开关。两个代理各做什么、三种规则写法、DNS 与 IP 核实,以及屏蔽错了会损失多少的算例。
阅读全文
Amazonbot:亚马逊的三个爬虫,以及怎么分别控制
Amazonbot 是亚马逊的爬虫,它读取的内容可能用于训练 Amazon AI 模型,是三个 robots.txt 设置互相独立的亚马逊代理之一。各自做什么、按目标怎么写规则、怎么按 IP 核实,以及一个读取量对比回流量的算例。
阅读全文
AhrefsBot:Ahrefs 的两个爬虫,放行还是屏蔽
AhrefsBot 替 Ahrefs 用户(包括竞争对手)读你的网站,不带回访客。两个爬虫各做什么、robots.txt 怎么允许/屏蔽/限速、怎么验真、按什么决定放行。
阅读全文
robots.txt 禁止所有爬虫:能挡什么、挡不了什么,以及更稳妥的写法
robots.txt 里的两行就能要求所有爬虫别碰整个网站。它实际做了什么、没做什么(不会隐藏网址,也保护不了任何东西),常见变体和 Google 怎么处理冲突规则,以及怎么检查哪些爬虫真的遵守。
阅读全文
抓取预算:对你的网站重要吗,又花在了哪里?
抓取预算是搜索引擎愿意并且能够在你的网站上抓取多少。什么时候需要关心、什么在浪费它,以及怎么读服务器日志,看搜索引擎和 AI 爬虫的请求到底花在了哪里。
阅读全文
GPTBot:OpenAI 的四个爬虫,以及怎么分别控制
GPTBot 是 OpenAI 的训练爬虫,是四个 robots.txt 设置互相独立的 OpenAI 代理之一。各自做什么、退出后会怎样、常见目标下的规则,以及怎么核实、怎么在自己的数据里检查。
阅读全文
ClaudeBot:抓什么、怎么屏蔽、怎么核实
ClaudeBot 是 Anthropic 的三个网络代理之一。每个代理做什么、屏蔽后会怎样、常见目标下 robots.txt 怎么写、怎么用 Anthropic 公布的 IP 列表核实请求,以及怎么在自己的数据里看到 ClaudeBot。
阅读全文
llms.txt 怎么写:结构、示例和怎么核实有没有人读
llms.txt 是什么、不是什么,提案定义的结构,一份真实示例,它和 robots.txt 怎么保持一致,以及怎么在服务器日志里核实 AI 爬虫有没有读。
阅读全文
怎么屏蔽 AI 爬虫:User-Agent 清单、robots.txt 写法和核实方法
GPTBot、ClaudeBot、Google-Extended 各干各的活。该挡哪些 AI 爬虫、robots.txt 怎么写、哪些要在服务器上拦,以及怎么确认规则生效。
阅读全文