交互与用户体验 / 系统课时

识别量表与选项中的测量偏差

识别量表与选项中的测量偏差

同一道问卷题,选项区间重叠、量表锚点含糊或答案顺序变化,都可能让用户给出不同回答。以新客结算体验研究为例,本课将检查选项设计中的测量偏差,把有问题的题目改写成可核对的版本,并通过小样本预测发现仍然存在的歧义。

学习目标

  • 判断单选题的选项是否互斥、完整覆盖合理答案,并修正重叠和遗漏。
  • 识别量表锚点、复合提问和选项顺序造成的测量偏差。
  • 使用认知预测和随机顺序对照检查问卷质量,形成可执行的修订规则。

检查选项是否互斥且覆盖完整

单选题需要满足两个条件:互斥意味着同一种真实情况只能落入一个选项;完整覆盖意味着符合调查条件的用户总能找到准确答案,或明确表示无法回答。

例如,研究者希望了解用户最近30天完成的线上订单数,却设计了以下选项:

  • 0~2次
  • 2~5次
  • 5次及以上

完成2次或5次订单的用户都能选择两个答案。不同用户可能按个人理解选择不同区间,后续统计便无法可靠还原订单数量分布。

可以将选项修改为:

选项 覆盖范围
0次 没有完成订单
1~2次 完成1次或2次
3~5次 完成3次、4次或5次
6次及以上 完成至少6次
记不清 无法可靠回忆次数

前四个选项覆盖所有非负整数,且彼此没有交集。最后一个选项用于区分无法回忆和真实的0次,不应纳入订单数量计算。

类别型题目还需要检查是否遗漏真实情况。例如询问最近一次结算时遇到的最主要障碍,可以提供运费说明不清、优惠券入口难找、支付方式受限等选项,同时保留其他(请填写)、没有遇到障碍和记不清。

这里必须写明只选最主要的一项。如果研究目标是统计所有遇到过的障碍,则应改成多选题,并将没有遇到障碍与其他障碍选项设置为互斥。

用明确的量表锚点约束回答含义

量表偏差经常来自题目含糊、评价维度混杂或分值含义不一致。例如,直接询问用户对结算页面是否满意,并提供1~5分,却不解释每个分值,用户可能把3分理解为一般、勉强可用或没有体验过。

如果真正关心运费说明是否容易理解,可以改为:

**题目:回想最近一次结算,页面对运费金额的说明有多容易理解?**

分值 明确锚点
1 非常难理解
2 比较难理解
3 不难也不容易
4 比较容易理解
5 非常容易理解

另外设置未看到运费说明、记不清两个独立选项。它们不是量表中的中立态度,不能编码为3分并参与均值计算。未看到说明本身也可能揭示信息可见性问题,应单独统计。

设计量表时,还要逐项检查以下情况:

  1. **时间范围明确**:最近一次结算,比平时使用结算页面更容易对应具体经历。
  2. **评价对象单一**:不要将运费说明和优惠券规则是否清楚合并为一个问题,应拆成两题。
  3. **分值方向统一**:同一组量表保持低分代表难理解、高分代表容易理解,不要无提示地反转方向。
  4. **选项含义一致**:同一量表中的不同分值应沿同一维度变化,不混入满意度、推荐意愿等其他概念。

例如,将问题写成你是否同意运费说明设计得非常合理,会预先暗示正面评价。改成运费金额说明有多容易理解,可以减少题目措辞对答案的诱导。

通过顺序对照发现位置效应

用户不一定会同等认真地阅读所有答案。特别是在选项较多或手机屏幕需要滚动时,排在前面的答案可能更容易被注意和选择,这属于选项顺序效应的一种表现。

假设题目是最近一次结算时,最主要遇到什么障碍。研究团队制作两个版本,只改变普通障碍选项的显示顺序,并随机分配给40名符合条件的用户。

版本 运费说明不清的位置 答题人数 选择该项人数 选择比例
A 第一项 20 12 60%
B 最后一项普通障碍选项 20 6 30%

这是一组用于演示的假设数据。两个版本相差30个百分点,提示需要进一步检查答案位置是否影响选择。由于每组仅20人,随机波动也可能造成明显差异,不能仅凭这个结果认定顺序效应已经得到证实。

实际检查可以按以下顺序执行:

  1. 保持题干、选项措辞、答题设备和其他展示条件一致,只改变待测试选项的位置。
  2. 将符合条件的答题者随机分配到不同顺序版本,记录分组和最终选择。
  3. 分别计算各版本的选项选择比例,检查差异是否集中于靠前或靠后的选项。
  4. 如果差异值得关注,扩大样本并重复验证,再决定是否采用随机显示。

没有天然顺序的普通类别可以随机排列;金额区间、频率等级、满意度量表等存在明确大小或程度关系的选项,应保持有序排列。其他、没有遇到障碍、记不清等特殊选项通常固定在末尾,避免与普通类别混排。

用认知预测定位剩余偏差

问卷发布前,可以先邀请8~12名符合目标人群条件的用户进行认知预测。这个人数适合发现明显的措辞和理解问题,并不代表能够估计总体偏差比例。

预测时,让用户像正式答题一样独立选择,然后询问他如何理解题目、为什么选择该答案,以及是否有无法准确表达的情况。不要在答题前解释研究者原本想表达的意思。

例如,10名预测用户中有3人把量表中的一般理解为没有注意到运费,而不是不难也不容易,说明中间锚点可能混入无法评价的含义。可以保留明确的中立选项,并额外提供未看到运费说明,再让新一组用户测试修订后的题目。

记录时至少保留题目编号、原选项、用户理解、发现的问题、修订内容和复测结果,避免只凭研究者印象判断是否已经修好。

对于选项覆盖情况,也可以在扩大预测后检查其他选项的使用比例。例如,30份有效回答中有5人选择其他,比例为16.7%。如果项目预先设定其他超过10%就启动复核,应检查这5份文本是否指向同一种被遗漏的障碍。10%只是示例项目的排查阈值,并非所有问卷适用的统一标准。

正式发布前,还需要固定题目版本,保存量表编码规则与随机顺序分组信息。若修订改变了题意、选项范围或量表锚点,新旧版本应先验证可比性,不能直接将两版分数当作同一指标合并。

完成这些检查后,一份题目应达到可验收的状态:每个真实答案都有明确归属,量表每一分有稳定含义,特殊回答不污染有效分值,选项位置不会在未经检查的情况下左右主要研究结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别量表与选项中的测量偏差

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通