机器人流量是什么？

机器人有哪几类

• 搜索引擎爬虫——百度蜘蛛、Googlebot、Bingbot。是你想要的，它们决定你能不能出现在搜索结果里。
• AI 爬虫——为训练模型收集数据，或在 AI 助手回答问题时抓取页面的机器人。见 AI 爬虫。
• 监控和预览类——可用性检测、聊天软件里的链接预览、SEO 工具。
• 采集程序——抓价格、抓内容、抓联系方式。
• 恶意机器人——撞库、批量注册、刷点击、引荐垃圾。

有些会在 User-Agent 里自报家门，很多不会，还有一些干脆跑一个真浏览器来装成真人。

机器人怎么扭曲数据

一个只打开一页就走的机器人，会多出一次访问、一个访客和一次跳出。一个每天 300 个真人访问的网站，混进 100 个机器人访问，跳出率、平均时长和转化率都会明显变样。常见迹象：

• 直接访问在奇怪的时间点暴涨，集中在一个国家或一个网络。
• 大量时长为 0、屏幕尺寸一模一样的访问。
• 流量来自云服务器、机房网络，而不是家庭宽带或手机网络。
• 注册或表单里填的是乱码。

识别是怎么做的

没有哪一种检测能抓住所有机器人，所以要分层：便宜的检查先跑，更深的检查兜住漏网的：

• User-Agent 规则——已知的机器人名称和特征。
• 请求头——真浏览器总会带、简单脚本常常忘带的请求头。
• 客户端信号——页面自己能观察到的东西，比如自动化标记、无头浏览器特征。
• 网络归属——访问是不是来自云服务商或机房网络。
• 请求速率——每分钟打开的页面远超真人阅读的速度。

TapCub 怎么处理机器人

TapCub 对每一条记录都跑这五层——User-Agent、请求头、客户端信号、网络（ASN）和速率异常——并记下命中了哪几层、置信度多高。识别出的机器人会标上名称、运营方和用途（搜索、AI 训练、AI 搜索、AI 代理、监控等），默认不计入真人报表。

机器人访问不会被扔掉：它们有自己的报表，实时视图里也是单独一条事件流，能看到哪些爬虫抓了什么、多频繁。站点可以加自定义规则和白名单，也可以选择直接丢弃机器人请求、不存储。规则没拦下但看起来像自动化的访问，会被标成“疑似机器人”供你复核。

常见误区

• 屏蔽所有机器人。把搜索引擎爬虫也挡了，网站就从搜索结果里消失了。
• 相信 User-Agent。谁都可以自称百度蜘蛛，光看名字不够。
• 事后在部分报表里过滤。只在某些报表里排除机器人，各页面之间的比率就对不上了。
• 流量突然上涨就庆祝。流量涨了、转化没跟着涨，先查查是不是机器人。

延伸阅读：抓取预算、SEO 日志分析和引荐垃圾流量。

相关阅读

• 怎么导入服务器访问日志？