交互与用户体验 / 系统课时
确定样本配额与招募标准
确定样本配额与招募标准
当研究只招到活跃且愿意反馈的用户时,访谈结果容易忽略低频用户和任务中途退出的人。本篇以电商 App 退款体验研究为例,完成目标用户定义、12 人样本配额矩阵、招募筛选题和样本验收规则,让研究团队能够按明确标准招人,而不是依靠便利样本得出片面结论。
学习目标
- 根据研究问题界定目标用户、入选条件和排除条件。
- 使用行为频率与典型场景建立可执行的样本配额矩阵。
- 编写招募筛选题,检查样本覆盖情况并识别招募偏差。
从研究问题确定目标用户
假设一家电商 App 发现部分用户没有完成退款申请,研究团队计划进行 12 场半结构化访谈,了解用户如何寻找退款入口、填写申请,以及在哪个环节遇到障碍。
首先写清研究总体。本案例将目标用户限定为:年满 18 岁、过去 90 天在该 App 至少完成过一次下单,并且曾因退款需求查找入口或尝试提交申请的消费者。
招募标准分为三类,避免把所有用户特征混在一起。
| 标准类型 | 本案例具体规则 | 用途 |
|---|---|---|
| 必须满足 | 年满 18 岁,过去 90 天至少下单 1 次 | 确保属于研究目标用户 |
| 必须满足 | 过去 90 天曾查找退款入口或尝试申请退款 | 确保具有相关经历 |
| 用于配额 | 过去 90 天订单数、最近一次退款尝试的结果 | 覆盖不同使用频率与任务场景 |
| 排除条件 | 平台员工、研究项目相关人员、近 3 个月参加过同主题研究者 | 降低角色冲突和重复参与造成的影响 |
这些条件应当在正式招募前固定。不要因为某位熟人容易联系,就临时降低条件;也不要把未满足研究总体定义的人计入有效样本。
用关键行为与场景建立配额矩阵
配额是研究者预先规定的各类受访者人数。定性访谈使用配额,主要目的是确保关键差异得到覆盖,而不是让十几个人按真实人口比例代表整个用户群体。
本案例选取两个对研究问题有解释价值的维度:
- 使用频率:过去 90 天下单 1~3 次为低频,4 次及以上为高频。
- 退款场景:最近一次尝试已经提交申请,或者寻找入口、填写申请后仍未提交。
这里的频率分界是本项目的操作性定义,并非电商行业通用标准。有订单行为数据时,应先查看实际分布,再决定是否需要调整分组阈值。
将两个维度交叉,得到以下 12 人访谈配额。
| 使用频率 | 最近一次已提交申请 | 最近一次未提交申请 | 合计 |
|---|---|---|---|
| 低频:90 天 1~3 单 | 3 人 | 3 人 | 6 人 |
| 高频:90 天 ≥4 单 | 3 人 | 3 人 | 6 人 |
| 合计 | 6 人 | 6 人 | 12 人 |
每个交叉单元安排 3 人,可以分别观察低频和高频用户在两类退款经历中的操作路径。它是探索性研究的工作配额,不保证每组达到主题饱和,也不能用于推断差异是否具有统计显著性。
目标用户资格属于硬条件,使用频率和典型场景属于配额条件。招募人员必须先检查硬条件,再将符合条件的人分配到矩阵中的唯一一个单元,避免重复计数。
如果某个研究问题还需要关注新老用户或设备差异,优先将其作为记录字段。12 人样本不宜同时交叉过多维度,否则容易产生大量无法填满的单元。
将招募条件转成可回答的筛选题
招募问卷应询问受访者实际发生过的行为,而不是要求其自我判断是否属于某类用户。下面是一组可以直接用于在线问卷或电话筛选的问题。
- 您是否年满 18 岁?选项为是、否;选择否则结束筛选。
- 过去 90 天,您在该 App 大约下过多少单?选项为 0 单、1~3 单、4 单及以上;选择 0 单则结束筛选,其余答案用于频率分组。
- 过去 90 天,您是否曾因退款需求,在该 App 中查找退款入口或尝试填写退款申请?选择否则结束筛选。
- 回忆最近一次尝试退款,您是否提交了退款申请?选项为已提交、查找入口或填写过程中未提交、记不清;前两项用于场景分组,记不清者暂不纳入。
- 请简单描述最近一次退款尝试发生在什么情况下、您当时做了哪些操作。这是开放题,用于确认真实经历与答案一致性。
- 您是否为该平台员工、研究项目相关人员,或在过去 3 个月参加过该平台同主题研究?选择是则排除。
筛选问题应使用相同的时间窗口,避免出现一个问题问过去 30 天、另一个问题问过去半年,导致答案无法比较。
开放题不需要用户提供完整订单号、账号密码或个人交易截图。记录经历摘要、发生月份和关键操作即可。筛选不应事先透露哪个配额单元尚缺人,以免诱导申请者调整答案。
例如,一位受访者过去 90 天下单 2 次,最近一次尝试退款时找到了订单详情但没有提交申请,应进入“低频、未提交”单元,而不是因为其对退款流程不熟悉就自动排除。
控制招募渠道与候补数量
即使配额矩阵填满,如果全部受访者来自一个投诉群,样本仍可能集中于强烈不满的用户。招募计划要同时记录渠道来源,避免让渠道特征替代真实的用户差异。
本案例可使用三个渠道:
- App 内定向邀请:面向近期有订单记录且同意接收研究邀请的用户,覆盖一般使用者。
- 客服触达:通过符合隐私与授权要求的流程邀请近期接触过退款服务的用户,补充受阻场景。
- 用户社区招募:发布中性招募信息,扩大接触范围,但必须经过同一套筛选题。
各渠道使用相同的筛选标准、访谈时长和激励规则。尽量让每个配额单元覆盖不止一种招募渠道,并记录渠道占比;不能为了填满“未提交”单元,只从投诉渠道寻找受访者。
以完成 12 场有效访谈为目标,可以在四个单元中各准备 3 名正式受访者和 1 名符合相同条件的候补,共计 16 名通过筛选的候选人。候补不是额外的正式样本,只有发生取消或不符合条件时才按对应单元替换。
招募台账至少记录匿名编号、频率分组、退款场景、招募渠道、筛选状态、预约时间、实际出席情况与替补原因。预约确认后可以在访谈前一天提醒,以减少缺席。
验收样本覆盖并判断结论边界
招募完成后,将实际有效访谈人数回填原始配额矩阵。假设四个单元实际人数分别为 3、3、2、4,虽然总数仍为 12,但第三个单元缺少 1 人、第四个单元超出 1 人,不能判定为按计划完成。
样本验收需要检查以下内容:
- 资格:所有正式受访者都通过硬性筛选,且能描述与研究相关的真实经历。
- 配额:四个单元均达到预定的 3 人,没有跨单元替换或重复计数。
- 来源:检查每格的招募渠道是否过度集中,并在研究报告中披露来源限制。
- 执行:实际完成访谈且产生可分析资料的人数才计入有效样本;仅预约或筛选通过不算完成。
还需要区分样本中的比例与总体中的比例。本案例刻意安排 6 名最近一次已提交申请者和 6 名未提交申请者,因此研究报告不能写成“50% 的用户无法完成退款申请”。这个比例是人为设计的研究配额,并不是平台总体的退款失败率。
定性访谈更适合报告具体障碍及其出现的情境,例如“部分低频用户在订单详情页反复寻找退款入口”。如果需要估计该问题影响多少用户,应另行使用行为日志、漏斗数据或具备适当抽样设计的定量调查。
一份可交付的招募方案应同时包含目标用户定义、入选与排除规则、配额矩阵、筛选问题、渠道计划、候补规则和验收记录。这样研究团队才能追溯每位受访者为什么被纳入,并清楚说明研究发现适用于哪些用户、有哪些不能外推的边界。