交互与用户体验 / 系统课时
按研究问题匹配研究方法
按研究问题匹配研究方法
同一个产品问题,用访谈、情境观察、可用性测试或问卷,得到的证据可能完全不同。选错方法,即使收集了大量数据,也无法支持设计决策。本课通过方法对照和帮助中心案例,建立从研究问题到证据类型、执行方法和验证标准的选择规则。
学习目标
- 区分访谈、情境观察、可用性测试和问卷各自能回答的问题。
- 根据需要获得的证据,选择合适的研究方法或方法组合。
- 识别用自述代替实际行为、用少量样本推断总体比例等常见错误。
先把模糊问题改写成可验证的问题
研究方法不能只根据产品所处阶段决定。即使同样研究帮助中心的退款功能,想了解用户的理解、实际操作、任务完成情况或人群分布,也需要不同的取证方式。
例如,团队提出「为什么用户找不到退款说明」,这个问题至少包含四种可能的研究目标:
- 理解认知:用户如何理解「退款进度」「售后服务」等栏目名称?
- 观察行为:用户实际处理退款时,会先查看订单、搜索帮助文章,还是联系客服?
- 验证操作:用户能否在两分钟内找到退款到账时间说明?
- 估计分布:目标用户中,有多少人自报首先使用站内搜索查找退款信息?
四个问题看似相近,但需要的证据分别是主观解释、自然场景行为、指定任务表现和人群自报数据。
正式选择方法前,建议用三个字段记录研究问题:
| 字段 | 需要写清的内容 | 示例 |
|---|---|---|
| 研究对象 | 研究谁 | 最近30天申请过退款的用户 |
| 研究情境 | 在什么情况下 | 首次查询退款到账时间时 |
| 需要的证据 | 通过什么判断 | 任务完成情况、首次点击、错误路径 |
如果问题写完后仍然只有「用户满意吗」「体验好不好」,应继续追问具体的任务、情境或判断指标,否则很容易把研究做成泛泛的意见收集。
四种方法分别能回答什么
| 方法 | 最适合回答的问题 | 主要证据与边界 |
|---|---|---|
| 用户访谈 | 用户为什么这样理解、有哪些顾虑和需求 | 叙述、动机、经历;不能直接证明实际行为频率 |
| 情境观察 | 用户在真实环境中如何完成工作、遇到什么阻碍 | 操作过程、环境约束、替代做法;观察可能影响行为 |
| 可用性测试 | 用户能否使用某个界面完成指定任务、卡在哪里 | 完成情况、错误路径、操作时间;小样本结果不能直接代表总体成功率 |
| 问卷调查 | 某种态度、自报行为或特征在受访人群中如何分布 | 标准化回答和比例;总体推断依赖抽样与非响应偏差控制 |
用户访谈:解释认知与动机
适合研究用户为什么把「退款进度」理解为「申请退款」,或者选择联系客服时有什么顾虑。探索性研究可先安排6~8名符合条件的参与者,每人30~45分钟,再根据发现的信息是否仍在增加决定是否补样。
问题应围绕具体经历,例如「回忆最近一次查询退款到账时间,你当时先做了什么」,而不是直接问「你会不会使用新版帮助中心」。后者获得的是预测和表态,不是已发生的行为。
情境观察:发现真实工作方式
适合研究用户在实际场景中怎样切换应用、查看订单截图、保存凭证或求助他人。可以先观察5~6名参与者,每人约45~60分钟,记录行为、工具、环境限制以及临时绕行的方法。
观察者应尽量减少提示,区分亲眼看到的行为与事后听到的解释。对涉及订单、付款信息的过程,要先取得知情同意,并避免记录不必要的个人敏感信息。
可用性测试:检查具体任务能否完成
适合检查用户能否找到某条帮助说明。形成性测试可先邀请6~8名目标用户,使用一致的任务描述,并记录首次点击、错误入口、完成状态和耗时。
任务可以写成「你申请退款后,想知道钱何时回到原支付账户,请在帮助中心找到相关说明」,不要提前告诉用户必须点击「退款与售后」,否则会人为消除导航问题。
问卷调查:衡量回答的分布
适合调查用户自报的搜索频率、对栏目名称的理解或功能偏好。问卷应明确总体、抽样来源、时间范围和回答选项。例如询问「过去30天,你通过哪些方式查询过退款进度」,比「你经常使用搜索吗」更容易解释。
即使收集200份回答,如果样本全部来自主动参加活动的用户,也不能自动推断全体用户的比例。报告时应说明有效样本量、招募渠道、响应率,以及可以推广到什么人群。
用证据类型决定研究路径
面对新问题,可以先判断团队最终需要什么证据,再决定方法,而不是默认先做访谈或先发问卷。

实际选择时还需要考虑研究材料是否已经存在:
- 还没有可操作的界面:优先访谈或情境观察,理解现有任务和真实问题,不必为了测试而临时制作不成熟的界面。
- 已有原型或产品:如果问题集中在入口发现、任务执行或操作理解,优先做可用性测试。
- 需要了解回答分布:使用问卷,但应先明确目标总体与招募方式。
- 既要发现问题又要了解分布:先用定性方法识别问题,再通过合适的定量研究检验其分布;不要求每个项目都使用全部四种方法。
需要注意,研究顺序不意味着证据能够互相替代。访谈中有6人提到「栏目名称不清楚」,只能支持这一问题值得调查,不能直接得出「大多数用户看不懂栏目名称」。
帮助中心案例:怎样组合方法
假设一个电商帮助中心收到大量「退款多久到账」的客服咨询。团队希望判断是导航入口难找,还是文章内容无法回答问题。
第一轮先做可用性测试,安排8名最近30天有退款经历的用户,其中4名曾使用帮助中心、4名未使用过。所有参与者完成同一个任务:找到退款到账时间说明,并指出影响到账时间的条件。
事先定义三项记录标准:
| 指标 | 记录方式 | 判断用途 |
|---|---|---|
| 任务完成 | 120秒内找到正确内容并能说明关键条件 | 判断是否能完成查找任务 |
| 首次点击 | 记录第一个栏目或搜索入口 | 判断入口是否符合预期 |
| 错误路径 | 记录进入无关栏目、反复返回的次数 | 定位导航与分类问题 |
测试期间不提示正确入口。任务结束后再安排约10分钟的简短访谈,询问参与者为什么选择某个栏目,以及他们如何理解「退款进度」与「退款到账时间」的差异。
这样,两种方法承担不同职责:可用性测试记录用户实际在哪里失败,访谈帮助解释选择背后的认知。
假设8人中只有3人成功,且5人首先进入「订单管理」,团队可以优先检查栏目命名、导航结构和入口文案。但不能直接宣称全体用户的任务成功率为37.5%,因为这个小样本主要用于发现问题,没有建立总体比例推断所需的抽样设计。
完成改版后,可以再招募新参与者,使用相同任务条件进行验证。若团队还需要判断不同用户群体对栏目名称的理解分布,则进一步设计问卷,覆盖明确的目标人群,而不是直接把测试访谈记录换算成总体百分比。
常见方法错配与修正
最容易发生的错误,是把一种证据当作另一种证据使用。
| 错误做法 | 为什么不成立 | 更合适的做法 |
|---|---|---|
| 问卷询问「你觉得退款入口容易找吗」,据此判断任务成功率 | 感知难度不等于实际完成情况 | 用可用性测试记录完成状态与路径 |
| 访谈询问「你平时怎么操作」,直接当作真实工作流程 | 记忆可能遗漏步骤或受到事后解释影响 | 在合适且获得同意的场景中开展情境观察 |
| 观察5人后宣称80%的用户存在同一问题 | 非概率小样本不能支持总体比例推断 | 报告观察到的现象;如需总体比例,另行设计合适的定量研究 |
| 为了验证现有设计,只招募熟悉产品的内部员工 | 熟悉度可能掩盖新用户遇到的困难 | 按真实目标用户的经验与使用情境招募 |
执行研究前,可以用四个问题检查方法是否选对:研究结果要支持什么决策?需要的是观点、行为、任务表现还是分布?所选方法能否直接获取这种证据?样本和执行条件允许作出多大范围的结论?
当研究目标是发现具体阻碍时,优先获取细致的行为与解释;当目标是估计人群差异或比例时,则必须进一步考虑抽样、测量和统计精度。最终交付的研究结论应当与实际获得的证据保持一致。