交互与用户体验 / 系统课时
用分组数据比较用户差异
用分组数据比较用户差异
同一份问卷中,不同用户报告体验问题的比例可能相差很大,但差异也可能来自任务场景和样本构成。本课用优惠券入口的调查案例,演示如何按使用频次和场景分组、计算比例、识别分组偏差,并把样本量与非响应风险写进研究结论。
学习目标
- 按使用频次和任务场景建立互不重叠的分组,正确计算组内比例。
- 通过交叉分组识别整体比例与场景内比例不一致的现象。
- 检查小样本、非响应和样本构成对结论的影响,写出有证据边界的研究发现。
先明确分组口径与比较指标
假设某电商产品想验证:使用频次不同的用户,是否更容易报告找不到优惠券入口。问卷询问用户最近一次结算经历,行为日志则用于核对近30天的购买次数。
为比较使用频次两端的用户,本例采用以下定义:
| 维度 | 分组 | 判定规则 |
|---|---|---|
| 使用频次 | 高频 | 近30天完成购买至少4次 |
| 使用频次 | 低频 | 近30天完成购买不超过1次 |
| 结算场景 | 日常补货 | 购买此前熟悉的商品 |
| 结算场景 | 首次新店 | 首次在该店铺完成结算 |
近30天购买2~3次的用户不纳入本次两端比较,需要单独记录排除人数。场景以最近一次真实结算任务为准;遇到重叠情形,应按事先约定的主任务规则归类,不能为了凑齐组别临时改口径。
本次核心指标是问卷中回答“最近一次结算时找不到优惠券入口”的人数比例:
组内问题比例 = 该组回答存在问题的人数 ÷ 该组有效回答人数 × 100%。
有效回答要求用户能归入指定频次组和场景组,且对该问题给出明确回答。这里测量的是用户自述的体验问题,不等同于行为日志实际记录到的查找失败率。
用交叉分组表计算差异
假设研究获得200份符合条件的有效问卷,下面是一组教学用模拟数据:
| 频次组 | 结算场景 | 有效人数 | 报告入口难找 | 组内比例 |
|---|---|---|---|---|
| 高频 | 日常补货 | 80 | 16 | 20% |
| 高频 | 首次新店 | 20 | 12 | 60% |
| 低频 | 日常补货 | 20 | 2 | 10% |
| 低频 | 首次新店 | 80 | 40 | 50% |
| 合计 | 全部场景 | 200 | 70 | 35% |
每行的比例都以本行有效人数为分母。例如,高频用户在日常补货场景的比例为16÷80=20%,而不是16÷200=8%。后者表示该类反馈占全部有效样本的比例,回答的是另一个问题。
如果暂时不区分场景,只按频次汇总:
- 高频组:28÷100=28%。
- 低频组:42÷100=42%。
- 总体差异:低频组高14个百分点。
只看这两个总体数字,容易写出“低频用户更容易遇到优惠券入口问题”的结论。但这个判断还没有考虑两组经历的结算场景是否相同。
在相同场景内检查差异
继续使用交叉表,分别比较相同场景中的高频与低频用户。
日常补货场景中,高频组为20%,低频组为10%,高频组高10个百分点。首次新店场景中,高频组为60%,低频组为50%,高频组仍高10个百分点。
这与总体比较的方向恰好相反:总体上低频组比例更高,但在两个相同场景中,都是高频组比例更高。这是一种可能出现辛普森悖论的典型分组现象。
原因可以从样本构成中直接核对:
- 高频组有80%的人处于问题较少的日常补货场景。
- 低频组有80%的人处于问题较多的首次新店场景。
- 两组经历不同场景的比例不同,整体数字混合了场景差异与频次差异。
为了观察场景构成的影响,可以做一次示意性的标准化计算。假设目标人群的两种场景各占50%,对两组使用相同权重:
- 高频组标准化比例:20%×50%+60%×50%=40%。
- 低频组标准化比例:10%×50%+50%×50%=30%。
统一场景权重后,比较方向发生反转。这里的50%只是教学假设,不是实际总体分布;正式研究应尽可能使用目标用户群体的真实场景比例确定权重。
这说明分组比例只能支持描述性比较,不能直接证明使用频次导致了问题。设备类型、用户熟悉程度、任务难度等因素也可能影响结果,需要结合研究目标继续核对。
检查样本量与非响应风险
假设本次从符合两端频次条件的用户中邀请320人,实际回收240份问卷,其中200份符合有效回答要求。
| 样本阶段 | 人数 | 占邀请人数比例 |
|---|---|---|
| 发出邀请 | 320 | 100% |
| 回收问卷 | 240 | 75% |
| 有效问卷 | 200 | 62.5% |
| 未响应 | 80 | 25% |
| 已回收但无效 | 40 | 12.5% |
问卷回收率为240÷320=75%,有效问卷占邀请人数的比例为200÷320=62.5%。未响应的80人没有提供问卷答案,不能假定他们与回答者具有相同的问题比例。
需要特别检查三个方面。
- 分组内样本是否过少。 表中两个场景组只有20人。例如低频日常补货组为2÷20=10%,如果多1人报告问题,比例就变为15%,变化5个百分点。因此不能仅凭10个百分点的组间差距断言差异稳定。
- 谁没有回答。 如果邀请名单有合规可用的行为日志,可比较响应者与未响应者的购买频次、设备类型和结算场景分布。如果未响应者主要集中在某类场景,问卷比例可能存在非响应偏差。
- 有没有错误的分母。 未回答核心问题的人不能直接算作“没有遇到问题”;同一用户重复提交的记录需要去重;缺失场景信息的人不应被强行分配到某个场景组。
把分组结果写成可复核的研究结论
研究报告应同时说明统计口径、关键人数、分组结果和证据限制,而不是只展示一个差异最大的百分比。
针对本例,可以采用下面这段结论:
在200份有效问卷中,低频组报告优惠券入口难找的总体比例为42%,高频组为28%。但按结算场景分层后,在日常补货与首次新店场景内,高频组的反馈比例分别为20%和60%,均高于低频组的10%和50%。整体差异受到两组场景构成不同的影响,现有数据不足以判断使用频次是否造成体验问题。部分场景组仅有20人,且有效问卷占邀请人数的62.5%,后续需要补充样本并检查非响应偏差。
如果团队准备据此决定优化优先级,可以先把首次新店场景列为进一步调查对象:该场景在本示例中的问题反馈比例较高,但仍需要通过任务观察或行为日志验证用户是否实际发生查找绕路、重复点击或放弃使用优惠券等行为。
提交分析前,再核对一次四格人数之和是否等于200、问题人数之和是否等于70、各比例的分母是否一致,并保留问卷筛选和排除规则。只有这些口径能够复现,分组数据才能成为后续设计决策可检查的证据。