更多: 网站统计
- 机器人与 AI 爬虫
- 流量来源、UTM 与广告点击 ID
- 机器人和 AI 爬虫会算进我的访客吗?
- AI 爬虫台账怎么读?
- 真人被标成机器人,怎么修正?
- TapCub 怎么判定一次访问的渠道?
- UTM 参数该怎么命名?
- TapCub 会追踪 gclid 这类广告点击 ID 吗?
- 自然搜索词为什么看着是空的?
- 怎么在图表上加标注?
- 流量骤降或激增时怎么收到提醒?
- 怎么定时发送统计报告?
- 怎么分享看板或报告?
- 怎么查看真实访客的 Core Web Vitals?
- 怎么找出网站上的 JavaScript 错误?
- 怎么实时查看网站访客?
- 怎么对比两个时间段?
- 怎么导入服务器访问日志?
- 怎么查看抓取健康和爬虫错误?
- 怎样找到访客在哪些页面离开网站?
- 本分类全部文章
简短回答
每条数据在存储前都会经过五层检查——User Agent、请求头、客户端信号、网络(ASN)和频率——使用集中维护的 197+ 条规则。足够多的层同时命中时,这条数据被标记为机器人。
五层,197+ 条规则
识别在每条数据存储之前运行。足够多的层同时命中时,这条数据被标记为机器人:
- User Agent。 搜索引擎、AI 公司、监控服务和 SEO 工具的已知爬虫标识,是规则库里占比最大的部分。
- 请求头。 真实浏览器一定会带、而它缺失或不一致的请求头。
- 客户端信号。 脚本能否执行,以及屏幕和时序等无头浏览器容易出错的信号。
- 网络(ASN)。 属于云服务商和已知爬虫运营方的网段。
- 频率。 人做不出来的请求速率,比如同一来源每分钟几百个页面。
规则库集中维护,目前 197+ 条,你不需要更新任何东西。
每行上的可信度
每一行机器人都显示命中了哪些层和一个可信度——已验证、疑似或未知。未知表示没能确认运营方,不代表流量是伪造的。某一行判错了可以报告——见报告误判。
只用页面脚本时,只能看到会执行 JavaScript 的机器人。只抓原始 HTML、不运行脚本的爬虫需要服务端 SDK 或日志导入才能看到。
相关阅读
这篇回答解决你的问题了吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。