TapCubBot 与其他 TapCub 抓取器
如果你在服务器日志里看到了 TapCub 的 User-Agent，这一页说明它是哪一类请求、由谁触发，以及怎么屏蔽。
最后更新
会访问网页的抓取器
下面 4 个 User-Agent 会向网站请求页面或文件。每一个最多跟随 3 次重定向，并且拒绝连接内网、环回和云厂商元数据地址。
| User-Agent | 什么时候运行 | 请求什么 | 限制 |
|---|---|---|---|
TapCubBot/1.0 | 有人在 TapCub 客服对话里发送了带链接的消息。 | 消息里的第一个链接，用来显示预览卡片：页面标题、描述、og:image 和站点名。 | 超时 5 秒；只读取 HTML 的前 512 KB；同一个链接一天最多请求一次。 |
TapCub-SitemapFetcher/1.0 | 每天一次；站点所有者在控制台点刷新时也会运行。 | 登记域名下的 /sitemap.xml，或所有者配置的 sitemap 地址，以及 sitemap 索引里列出的子 sitemap。 | 超时 15 秒；索引最多 2 层，每个站点最多 50 个 sitemap 文件、50,000 个 URL，单个文件不超过 20 MB。 |
TapCub-ComplianceFetcher/1.0 | 每天一次；站点所有者刷新爬虫合规报告时也会运行。 | 登记域名下的 /robots.txt 和 /llms.txt，用来检查访问该站的爬虫是否遵守站点自己的规则。 | 超时 10 秒；只请求这两个文件。 |
TapCubKB/1.0 | TapCub 客服的客户把某个网页导入客服知识库。 | 只请求客户填写的那个地址，且只接受 HTML 和纯文本页面。 | 超时 5 秒；最多 1 MB。 |
链接预览的完整字符串是 Mozilla/5.0 (compatible; TapCubBot/1.0; +https://tapcub.com/bot) link-preview。另外 3 个在版本号后面带 (+https://tapcub.com/bot)。
服务器之间的投递
下面这些 User-Agent 不会浏览网页，只向 TapCub 客户配置的接口发送 JSON POST，例如客户自己的 Webhook 地址，或广告平台的转化回传接口。
| User-Agent | 用途 |
|---|---|
TapCub-Webhook/1.0 | 在控制台或 API 里配置的 Webhook 事件。 |
TapCub-Automation/1.0 | 自动化流程里的 Webhook 动作。 |
TapCub-Notifier/1.0 | 发到 Webhook 渠道的告警与报告通知。 |
TapCub-DSAR/1.0 | 数据主体请求的状态回调。 |
TapCub-AuditPush/1 | 把审计日志推送到 SIEM 或日志系统。 |
TapCub-Postback/1.0 | 向客户接入的广告平台回传转化。 |
设置了签名密钥时，请求会带 X-Webhook-Signature: sha256=… 头（对原始 body 做 HMAC-SHA256）。校验方法见 Webhook 文档。
TapCub-GeoUpdater/1.0 从发布方下载 IP 地理位置库，不会访问其他网站。
robots.txt 与屏蔽
这些抓取器都是代表某个人的操作去请求，所以请求前不会检查 robots.txt。合规抓取器会读取你的 robots.txt，但只把它当作要分析的数据，不当作访问许可。
如果要屏蔽，在服务器或 CDN 上按 User-Agent 匹配并返回 403：
- TapCubBot：客服消息照常送达，只是没有预览卡片。
- TapCubKB：导入会失败，客户会看到报错。
- Sitemap 与合规抓取器：只访问在 TapCub 账号里登记过的域名。如果有人未经你同意登记了你的域名，请发邮件到 [email protected]，我们会核查处理。
核实请求来源
所有请求都从 TapCub 的服务器发出，目前还没有公布固定的 IP 段。任何人都可以伪造 User-Agent，所以自称 TapCub 的请求不一定来自我们。
如果发现异常流量，请把时间（含时区）、请求的地址、来源 IP 和完整的 User-Agent 发到 [email protected]。我们会告诉你它是否来自 TapCub，如果是，具体是哪个功能发出的。
相关阅读