AI 搜索
带「AI 搜索」标签的文章共 10 篇。标签跨越分类,所以统计、客服和产品类文章可能并排出现。
标签:AI 搜索
10 篇文章

PerplexityBot:它读什么、带回什么,以及要不要放行
PerplexityBot 读取网页,让 Perplexity 答案能引用你的网站;Perplexity-User 按用户请求抓页。两个代理各做什么、robots.txt 怎么写、怎么按 IP 核实,以及用读取量与带回访客的比值决定放不放行。
阅读全文
Applebot 和 Applebot-Extended:两个身份,分别控制
Applebot 给 Spotlight、Siri 和 Safari 搜索抓内容;Applebot-Extended 只是 robots.txt 里的 AI 训练开关。两个代理各做什么、三种规则写法、DNS 与 IP 核实,以及屏蔽错了会损失多少的算例。
阅读全文
零点击搜索:数据说明了什么,该怎么应对
现在约 60% 的 Google 搜索没有点击。讲清什么是零点击搜索、哪些搜索受影响最大、一个展现涨 4% 点击跌 20% 的前后对比算例,以及七个应对方法。
阅读全文
网络爬虫:怎么工作、有哪些类型、怎么验证
什么是网络爬虫、每个爬虫都会走的六步、搜索爬虫与 AI 训练爬虫和 AI 搜索爬虫的区别、一周服务器日志里的冒充 Googlebot 算例,以及怎么验证和控制爬虫。
阅读全文
AI 可见性:在 AI 搜索里怎么衡量、怎么提升
AI 可见性指 AI 答案读取、引用你的网站并把人带回来的程度。讲清要衡量的三层、四个指标、一个按运营商拆开的月度 AI 流量算例,以及七个提升方法。
阅读全文
JavaScript SEO:Google 和 AI 爬虫怎么处理 JS,以及怎么修
JavaScript SEO 确保爬虫能看到脚本生成的内容。讲清 Google 怎么抓取、渲染、收录 JS 页面,为什么大多数 AI 爬虫只看到空壳,各种渲染方式、常见问题,以及一次收录率从 53% 提到 94% 的目录审计。
阅读全文
GPTBot:OpenAI 的四个爬虫,以及怎么分别控制
GPTBot 是 OpenAI 的训练爬虫,是四个 robots.txt 设置互相独立的 OpenAI 代理之一。各自做什么、退出后会怎样、常见目标下的规则,以及怎么核实、怎么在自己的数据里检查。
阅读全文
ClaudeBot:抓什么、怎么屏蔽、怎么核实
ClaudeBot 是 Anthropic 的三个网络代理之一。每个代理做什么、屏蔽后会怎样、常见目标下 robots.txt 怎么写、怎么用 Anthropic 公布的 IP 列表核实请求,以及怎么在自己的数据里看到 ClaudeBot。
阅读全文
llms.txt 怎么写:结构、示例和怎么核实有没有人读
llms.txt 是什么、不是什么,提案定义的结构,一份真实示例,它和 robots.txt 怎么保持一致,以及怎么在服务器日志里核实 AI 爬虫有没有读。
阅读全文
怎么屏蔽 AI 爬虫:User-Agent 清单、robots.txt 写法和核实方法
GPTBot、ClaudeBot、Google-Extended 各干各的活。该挡哪些 AI 爬虫、robots.txt 怎么写、哪些要在服务器上拦,以及怎么确认规则生效。
阅读全文