分类

AI 爬虫与机器人

AI 助手抓取你的页面用来训练、引用和回答。这个系列讲怎样识别它们、robots.txt 和 llms.txt 与实际命中怎么对，以及它们到底带回多少访客。

AI 爬虫已经是大多数网站流量里看得见的一部分。这些文章解释 TapCub 怎样把它们与搜索爬虫和真人分开、怎样读爬虫账本、怎样写并验证一份 llms.txt。目标是一个站得住的决定：允许、限制还是封禁，依据是每个爬虫拿走了什么、又带回了什么。