一句话回答
分类变量的取值是给各组贴的标签,比如国家、套餐、错误码,而不是测量出来的数量。判断方法是问一句:这些值相加或求平均有没有意义。邮编、状态码虽然是数字,仍然是分类变量;类型定错,图表和统计检验都会跟着错。
公式: χ² = Σ(观测值 − 期望值)² ÷ 期望值,期望值 = 行合计 × 列合计 ÷ 总数
什么是分类变量?
分类变量(categorical variable)的取值是给各个组贴的标签,而不是数量。每条观测落进有限的几个类别之一:访客所在的国家、用的浏览器、订阅的套餐、请求返回的错误码。统计学里也叫定性变量;按 S. S. Stevens 的测量尺度划分,它包括名义尺度和有序尺度两种。
实际判断时只问一句:把这些值相加、相减或者求平均,结果有没有意义?没有意义,它就是分类变量,哪怕每个值都写成数字。邮编、HTTP 状态码、错误码、版本号都由数字组成,但都是类别。类型一旦定错,后面画的图、算的汇总统计量、做的显著性检验都会跟着错。
名义变量和有序变量
分类变量分两种:
- 名义变量:类别之间没有天然的先后顺序。国家、浏览器、流量渠道、支付方式、错误码都是名义变量。可以计数、比较占比,但「Chrome 大于 Safari」这种说法没有意义。
- 有序变量:类别有先后顺序,但相邻两档之间的距离不相等。套餐档位(免费版、专业版、企业版)、1 到 5 分的满意度、优先级(P1–P4)都是有序变量。可以排序、取中位数;为什么不该对它们求平均,见词条有序变量。
只有两个取值的分类变量(登录或未登录、转化或未转化)叫二元变量或二分变量。二元变量常存成 true/false 或 1/0,取值为 1 的占比就是一个比例。所以「是否转化」虽然是类别,转化率照样能算。
分类还是数值?逐个判断 10 个埋点属性
最快的办法是拿真实的事件属性套一遍「能不能做加减」。下面是一家网店的示例属性:
| 属性 | 示例值 | 类型 | 理由 | 怎么汇总 |
|---|---|---|---|---|
country | DE | 分类(名义) | 标签,没有顺序 | 计数、占比、众数 |
plan | pro | 分类(有序) | 档位有先后,档间距离不等 | 计数、占比、中位档位 |
zip_code | 10115 | 分类(名义) | 两个邮编求平均得到的数字没有意义 | 按地区计数、占比 |
http_status | 404 | 分类(名义) | 404 并不是 200 的「两倍」 | 计数、4xx 和 5xx 的占比 |
app_version | 3.8.0 | 分类(有序) | 版本有先后,但 3.8 − 3.7 不是一个量 | 各版本占活跃用户的比例 |
error_code | E1042 | 分类(名义) | 是标识符,哪怕存成数字 | 计数、前 N 名清单 |
is_returning | true | 分类(二元) | 只有两种状态 | true 的比例 |
csat_score | 4 | 分类(有序) | 1–5 分有顺序,但档间不等距 | 分布、中位数、前两档占比 |
order_value | 59.90 | 数值(连续) | 求和、求平均得到的是真实金额 | 求和、均值、中位数、分位数 |
items_in_cart | 3 | 数值(离散) | 件数可以相加 | 求和、每单平均、分布 |
十个属性里八个是分类变量,这八个里又有四个是用数字存的。在分析数据里这个比例很常见:标识符、代码和打分的数量远多于真正的测量值。数值这一侧见词条定量数据。
分类数据怎么汇总
标签不能求平均,所以分类数据靠计数来汇总:
- 频数(计数):每个类别有多少条观测。例如来自德国的会话 1,840 次。
- 相对频数(占比):计数 ÷ 总数。9,200 次会话里 1,840 次,即 20.0%。
- 众数:出现次数多的那个类别。对名义变量来说,它是能用来描述「集中趋势」的那一个指标。
- 交叉表:同时统计两个分类变量的计数,比如设备 × 是否转化。大部分有用的比较都发生在这一步。
画图用按计数排序的条形图,或者看占比用堆叠条形图。直方图是给数值数据用的,用在类别上会让人以为横轴是连续的,而实际上并不存在这样的轴。饼图只适合少数几个、加起来构成整体的类别。
如果一个变量有几百个不同取值,比如手填的城市字段,它的基数就很高:大多数类别的观测太少,没法比较。汇总之前先把长尾归到「其他」,或者把取值映射到更粗的层级(城市归到国家)。
两个分类变量怎么检验:卡方检验示例
两个分类变量之间最常见的问题是:它们是否相互独立?注册比例是不是真的因设备而不同,还是差异只是随机波动?皮尔逊卡方独立性检验的做法,是把观测到的计数和「两者毫无关系时应有的计数」放在一起比较。
示例数据:注册页 2,500 名访客,按设备分组。
| 设备 | 注册 | 未注册 | 合计 | 注册率 |
|---|---|---|---|---|
| 桌面端 | 60 | 940 | 1,000 | 6.0% |
| 手机端 | 60 | 1,440 | 1,500 | 4.0% |
| 合计 | 120 | 2,380 | 2,500 | 4.8% |
逐步计算:
- 期望计数:每格 = 行合计 × 列合计 ÷ 总数。桌面端注册:1,000 × 120 ÷ 2,500 = 48;桌面端未注册:952;手机端注册:72;手机端未注册:1,428。
- 每格的贡献 = (观测 − 期望)² ÷ 期望:(60 − 48)² ÷ 48 = 3.00;(940 − 952)² ÷ 952 = 0.15;(60 − 72)² ÷ 72 = 2.00;(1,440 − 1,428)² ÷ 1,428 = 0.10。
- 卡方值 = 3.00 + 0.15 + 2.00 + 0.10 = 5.25,自由度为 (2 − 1) × (2 − 1) = 1。
- 比较:5% 显著性水平下的临界值是 3.84。5.25 比它大,说明注册率和设备有关(p ≈ 0.022)。
注意这个检验需要的是各类别的计数,而不是平均值。如果把 device 编成 1 和 2 再求平均,就没有东西可检验了。想快速核对自己的表,可以用卡方检验计算器。
在模型里怎么用分类变量
回归和大多数机器学习模型只吃数字,所以类别要先做哑变量(独热)编码:每个类别一列 0/1,留出一个类别作为基准。一个有四个取值的 channel 变量(自然搜索、付费、邮件、直接访问)会变成三列,模型系数表示每个渠道相对直接访问的差别。如果直接把 1–4 的编码喂给模型,等于告诉它邮件(3)「介于」付费(2)和直接访问(4)之间,这是错的。
分类变量的常见误区
- 对数字编码求平均。状态码 200、404、500 的平均值是 368,它不是任何一个状态。十个客户的套餐编号按 1/2/3 编码(五个免费版、三个专业版、两个企业版),平均值是 1.7,也不是任何一个套餐。
- 把代码存成数字。邮编
02134存成数字后变成2134,开头的零没了。代码和标识符应该存成文本,见词条数据类型。 - 标签写法不统一。
US、USA和United States把一个类别拆成三个,每个计数都变小。在采集时用允许值清单把写法定下来。 - 类别太多。二十个类别、每个 15 条观测,什么比较都撑不起来;先合并。
- 忽略顺序。把有序变量当名义变量处理不算错,但丢掉了顺序信息;用上顺序的检验通常更灵敏。
定性和定量数据更全面的对比见定性数据与定量数据,访谈这类研究方法见词条定性数据。
在 TapCub 里管理分类属性
上面那 10 个属性,正是团队搭建埋点时会列出的那种清单。在 TapCub 里,类型在属性字典里定一次,之后每张报表都按它来:
- 定类型。全端分析 › 数据管理 › 属性字典列出每个事件属性和它的类型:「文本」「数值」「布尔」「时间」或「列表」。把
zip_code、http_status、error_code设成文本,is_returning设成布尔,order_value和items_in_cart保持数值。保存过的修改算人工确认,之后的扫描不会覆盖类型。 - 管住标签写法。同一处可以加校验规则,要求预期类型或允许值清单;治理规则里的白名单会把其他取值存成
__other。这样USA和United States不会变成两个类别。 - 盯住基数。数据质量页会按 7 天内的不同取值数标出高基数属性,看到标记就该把长尾归并了。
- 比较分组,不比较平均。在全端分析 › 行为分析 › 行为分析里,事件分析最多可以按三层维度拆分;漏斗可以按一个维度(比如国家或设备)拆分,保留进入人数多的 10 组。上面的注册表就是一个按设备拆分的漏斗,把各步人数拿出来做卡方检验即可。
资料来源
- Stevens, S. S. (1946). On the Theory of Scales of Measurement. Science, 103(2684), 677–680.
- NIST/SEMATECH 统计方法电子手册,7.4.5 How can we compare the results of classifying according to several categories?(列联表与卡方检验)。
- UCLA OARC 统计咨询,What is the difference between categorical, ordinal and interval variables?
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
