免费营销工具 AI 爬虫与 AI 可见度
决定哪些 AI 爬虫可以读你的网站，并检查你写的规则实际效果如何。爬虫清单就是 TapCub 识别机器人用的那一份。
robots.txt、llms.txt，以及为 AI 读你网站的爬虫。
AI 爬虫 robots.txt 检查器
粘贴你的 robots.txt，逐个看 AI 爬虫是被允许、部分限制还是禁止，再生成你想要的规则。
- 覆盖 43 个 AI 爬虫 UA，与 TapCub 机器人规则同一份
- 标出决定结果的那条规则
- 生成可复制的 robots.txt 片段
llms.txt 生成器
按 llmstxt.org 提案的格式生成 llms.txt：站点名、一句话简介、分组链接，也可以直接用 sitemap.xml 转换。
- 严格按 llmstxt.org 提案格式
- 粘贴「标题 | 网址 | 说明」或 sitemap
- 提示缺简介、网址错误和重复链接
llms.txt 检查
粘贴 llms.txt，对照 llmstxt.org 的格式逐行检查，每个问题都标出行号。
- 检查 H1、简介、分组和链接写法
- 相对网址、重复链接、写错的链接
- 每个分组的链接数一目了然
robots.txt 测试工具
粘贴 robots.txt 和要检查的网址，逐个看百度、Google 和各家 AI 爬虫能不能抓，以及是哪一行规则决定的。
- 按 RFC 9309 判定：分组、最长匹配、* 和 $
- 百度、Google、必应 + {ai} 个 AI 爬虫
- 标出拼错、不支持的指令和写错的 Sitemap
robots.txt 生成器
用预设和逐个爬虫的开关生成 robots.txt：屏蔽 AI 训练、保留 AI 搜索，再加上禁止目录和 Sitemap。
- 常用策略和 WordPress 预设
- 43 个 AI 爬虫按用途分组
- 每个选择都说明能做到什么、做不到什么
UA 解析
粘贴一条或一批 User-Agent，识别浏览器、内核、操作系统、设备类型、微信等 App 内置浏览器，以及是不是爬虫、是哪家的 AI 爬虫。
- 批量解析：一行一条，结果成表
- 认得微信 / 小程序、钉钉、飞书、支付宝、抖音等 App 内打开
- 爬虫识别和 TapCub 产品同一套 197 条规则
浏览器 UA 查看
查看你的浏览器 User-Agent、Client Hints、语言、时区和屏幕信息，以及 TapCub 这类统计脚本实际会上报、保存其中哪些。
- UA 拆成浏览器、内核、系统、设备
- Client Hints：看出真实的 Windows 11 / 安卓版本
- 统计脚本能看到什么 vs TapCub 存了什么
AI 爬虫大全
TapCub 能识别的 AI 爬虫一表查：训练、AI 搜索、替用户访问三类，附官方说明和可复制的 robots.txt 规则。
- 按名称、公司或标记搜索
- 主要爬虫各有一页，每条事实附出处
- 一键生成屏蔽 / 放行规则
AI 流量识别正则
为 DeepSeek、Kimi、豆包、文心一言、ChatGPT、Perplexity 等 AI 助手带来的访问生成 GA4 正则，附设置步骤和测试框。
- 勾选助手或自己加域名
- 会话来源或完整引荐网址，整串或部分匹配
- 贴来源网址测试是否命中
网站日志分析
拖入网站访问日志，看清多少请求来自真人、搜索引擎蜘蛛、AI 爬虫和其它机器人。在浏览器里解析，不上传。
- 支持 Nginx、Apache、宝塔、Cloudflare、IIS
- 与 TapCub 同一套 197+ 条机器人规则
- 对照 robots.txt，导出 CSV
需要 TapCub 账号吗？
不需要。工具页是公开页面。只有当你希望同样的数字由真实流量自动算出、而不是手动输入时，才需要账号。
我输入的内容会发给 TapCub 吗？
不会。绝大多数工具完全在你的浏览器里运行。少数查询类工具（DNS、WHOIS、网站测速）在你点按钮后，由浏览器把你填的域名或网址直接发给公开服务（Cloudflare / 阿里云 DNS、域名注册局、Google PageSpeed），每个这样的页面都写明了发给谁。我们只像其他页面一样记录「工具页被访问、被使用」，从不记录输入值。
这些工具会更新吗？
会。每个工具页都写了版本号、更新记录和所用数据的核对日期。爬虫规则、法定节假日、平台字数上限这类数据按计划定期复核，全部工具的更新汇总在一页。
可以嵌入或链接这些工具吗？
欢迎链接，/tools 下的地址是稳定的。暂不提供嵌入，但每页都写明了公式，你可以自行复现。
为什么和我的统计工具算出来不一样？
通常是定义不同，不是算术不同：谁算访客、哪个事件算转化、机器人有没有先剔除。每个工具都列出了它假设的口径。见为什么 UV 总是对不上。
还会有更多工具吗？
客服里反复出现的问题，我们会做成一页。欢迎到联系我们提建议。