交互与用户体验 / 系统课时

用分组数据比较用户差异

用分组数据比较用户差异

同一份问卷中,不同用户报告体验问题的比例可能相差很大,但差异也可能来自任务场景和样本构成。本课用优惠券入口的调查案例,演示如何按使用频次和场景分组、计算比例、识别分组偏差,并把样本量与非响应风险写进研究结论。

学习目标

  • 按使用频次和任务场景建立互不重叠的分组,正确计算组内比例。
  • 通过交叉分组识别整体比例与场景内比例不一致的现象。
  • 检查小样本、非响应和样本构成对结论的影响,写出有证据边界的研究发现。

先明确分组口径与比较指标

假设某电商产品想验证:使用频次不同的用户,是否更容易报告找不到优惠券入口。问卷询问用户最近一次结算经历,行为日志则用于核对近30天的购买次数。

为比较使用频次两端的用户,本例采用以下定义:

维度 分组 判定规则
使用频次 高频 近30天完成购买至少4次
使用频次 低频 近30天完成购买不超过1次
结算场景 日常补货 购买此前熟悉的商品
结算场景 首次新店 首次在该店铺完成结算

近30天购买2~3次的用户不纳入本次两端比较,需要单独记录排除人数。场景以最近一次真实结算任务为准;遇到重叠情形,应按事先约定的主任务规则归类,不能为了凑齐组别临时改口径。

本次核心指标是问卷中回答“最近一次结算时找不到优惠券入口”的人数比例:

组内问题比例 = 该组回答存在问题的人数 ÷ 该组有效回答人数 × 100%。

有效回答要求用户能归入指定频次组和场景组,且对该问题给出明确回答。这里测量的是用户自述的体验问题,不等同于行为日志实际记录到的查找失败率。

用交叉分组表计算差异

假设研究获得200份符合条件的有效问卷,下面是一组教学用模拟数据:

频次组 结算场景 有效人数 报告入口难找 组内比例
高频 日常补货 80 16 20%
高频 首次新店 20 12 60%
低频 日常补货 20 2 10%
低频 首次新店 80 40 50%
合计 全部场景 200 70 35%

每行的比例都以本行有效人数为分母。例如,高频用户在日常补货场景的比例为16÷80=20%,而不是16÷200=8%。后者表示该类反馈占全部有效样本的比例,回答的是另一个问题。

如果暂时不区分场景,只按频次汇总:

  • 高频组:28÷100=28%。
  • 低频组:42÷100=42%。
  • 总体差异:低频组高14个百分点。

只看这两个总体数字,容易写出“低频用户更容易遇到优惠券入口问题”的结论。但这个判断还没有考虑两组经历的结算场景是否相同。

在相同场景内检查差异

继续使用交叉表,分别比较相同场景中的高频与低频用户。

日常补货场景中,高频组为20%,低频组为10%,高频组高10个百分点。首次新店场景中,高频组为60%,低频组为50%,高频组仍高10个百分点。

这与总体比较的方向恰好相反:总体上低频组比例更高,但在两个相同场景中,都是高频组比例更高。这是一种可能出现辛普森悖论的典型分组现象。

原因可以从样本构成中直接核对:

  • 高频组有80%的人处于问题较少的日常补货场景。
  • 低频组有80%的人处于问题较多的首次新店场景。
  • 两组经历不同场景的比例不同,整体数字混合了场景差异与频次差异。

为了观察场景构成的影响,可以做一次示意性的标准化计算。假设目标人群的两种场景各占50%,对两组使用相同权重:

  • 高频组标准化比例:20%×50%+60%×50%=40%。
  • 低频组标准化比例:10%×50%+50%×50%=30%。

统一场景权重后,比较方向发生反转。这里的50%只是教学假设,不是实际总体分布;正式研究应尽可能使用目标用户群体的真实场景比例确定权重。

这说明分组比例只能支持描述性比较,不能直接证明使用频次导致了问题。设备类型、用户熟悉程度、任务难度等因素也可能影响结果,需要结合研究目标继续核对。

检查样本量与非响应风险

假设本次从符合两端频次条件的用户中邀请320人,实际回收240份问卷,其中200份符合有效回答要求。

样本阶段 人数 占邀请人数比例
发出邀请 320 100%
回收问卷 240 75%
有效问卷 200 62.5%
未响应 80 25%
已回收但无效 40 12.5%

问卷回收率为240÷320=75%,有效问卷占邀请人数的比例为200÷320=62.5%。未响应的80人没有提供问卷答案,不能假定他们与回答者具有相同的问题比例。

需要特别检查三个方面。

  1. 分组内样本是否过少。 表中两个场景组只有20人。例如低频日常补货组为2÷20=10%,如果多1人报告问题,比例就变为15%,变化5个百分点。因此不能仅凭10个百分点的组间差距断言差异稳定。
  2. 谁没有回答。 如果邀请名单有合规可用的行为日志,可比较响应者与未响应者的购买频次、设备类型和结算场景分布。如果未响应者主要集中在某类场景,问卷比例可能存在非响应偏差。
  3. 有没有错误的分母。 未回答核心问题的人不能直接算作“没有遇到问题”;同一用户重复提交的记录需要去重;缺失场景信息的人不应被强行分配到某个场景组。

把分组结果写成可复核的研究结论

研究报告应同时说明统计口径、关键人数、分组结果和证据限制,而不是只展示一个差异最大的百分比。

针对本例,可以采用下面这段结论:

在200份有效问卷中,低频组报告优惠券入口难找的总体比例为42%,高频组为28%。但按结算场景分层后,在日常补货与首次新店场景内,高频组的反馈比例分别为20%和60%,均高于低频组的10%和50%。整体差异受到两组场景构成不同的影响,现有数据不足以判断使用频次是否造成体验问题。部分场景组仅有20人,且有效问卷占邀请人数的62.5%,后续需要补充样本并检查非响应偏差。

如果团队准备据此决定优化优先级,可以先把首次新店场景列为进一步调查对象:该场景在本示例中的问题反馈比例较高,但仍需要通过任务观察或行为日志验证用户是否实际发生查找绕路、重复点击或放弃使用优惠券等行为。

提交分析前,再核对一次四格人数之和是否等于200、问题人数之和是否等于70、各比例的分母是否一致,并保留问卷筛选和排除规则。只有这些口径能够复现,分组数据才能成为后续设计决策可检查的证据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用分组数据比较用户差异

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通