交互与用户体验 / 系统课时
定义查找任务的成功判据
定义查找任务的成功判据
同一个帮助中心任务,用户可能通过目录、搜索或相关推荐找到答案。如果只记录用户是否觉得好找,不同测试人员很难得出一致结论。本课将把目标内容、成功条件、完成率、耗时和路径偏差转化为可观察的指标,并建立能够用于改版前后比较的测试基准。
学习目标
- 将真实用户问题改写为具有明确起点、目标内容和可验证答案的查找任务。
- 制定任务成功率、完成耗时和路径偏差的统一统计口径。
- 根据实际测试记录计算指标,判断信息架构是否达到预设标准。
把用户问题转化为可验证的任务
信息架构测试中的查找任务,是要求用户从指定入口出发,找到能够解决某个问题的内容。任务描述应接近用户的自然表达,不能直接暴露目标页面的栏目名称,否则测试结果会高估导航效率。
假设正在测试一个电商帮助中心,目标内容是《退款到账时间》。为便于演示,测试站点预置的正确答案为:银行卡原路退款预计需要 1~3 个工作日。这个时间仅是案例数据,不代表实际平台的退款承诺。
可以建立以下任务卡:
| 项目 | 测试设定 |
|---|---|
| 用户场景 | 已收到退款受理通知,想知道钱何时回到银行卡 |
| 向用户展示的任务 | 请从帮助中心查找银行卡退款预计多久到账,并告诉我查到的时间 |
| 起始页面 | 帮助中心首页 |
| 目标内容 | 《退款到账时间》 |
| 正确答案 | 1~3 个工作日 |
| 测试设备 | 手机端,使用统一屏幕尺寸档位 |
| 允许操作 | 浏览栏目、使用站内搜索、点击站内相关推荐 |
| 时间上限 | 120 秒 |
任务描述没有直接出现《退款到账时间》这个页面标题,能够观察用户是否理解导航标签、是否知道从哪个栏目进入,以及能否通过搜索找到正确内容。
一个查找任务最好对应一个明确的信息需求。不要把查询到账时间、申请退款和修改收款账户放进同一任务,否则用户只完成其中一部分时,成功与失败将难以判定。
明确成功、失败与中止条件
测试前必须确定什么行为算完成,不能在看到用户操作后临时修改标准。本例采用严格的无辅助完成标准。
满足以下全部条件,才记为成功:
- 用户从指定的帮助中心首页开始操作。
- 在 120 秒内打开包含正确答案的目标文章。
- 能够准确说出银行卡退款预计需要 1~3 个工作日。
- 全程没有获得测试主持人关于栏目、搜索词或目标位置的提示。
用户通过搜索、栏目导航或相关推荐进入目标文章,都可以判定为成功。评估的是能否找到正确答案,而不是是否遵循设计人员预想的路径。
出现以下任一情况,记为失败:
- 120 秒内没有找到正确内容。
- 打开了相关但不能回答问题的页面,并把它当作最终答案。
- 找到了目标文章,却给出了错误的到账时间。
- 用户主动放弃,或需要主持人提供实质性导航提示才能继续。
如果测试过程中出现网络断开、页面无法加载等与信息架构无关的技术故障,应标记为无效记录,并安排补测,而不是直接计入任务失败。
设定指标及统一统计口径
同一任务至少记录成功率、耗时和路径偏差三个指标。它们分别回答能否找到、需要多久、过程中是否发生迷路。
| 指标 | 统计方式 | 本例预设达标值 |
|---|---|---|
| 任务成功率 | 成功人数 ÷ 有效测试人数 × 100% | ≥80% |
| 成功耗时中位数 | 将成功者耗时排序后取中间值 | ≤90 秒 |
| 路径偏差中位数 | 将所有有效记录的无关页面进入次数排序后取中间值 | ≤1 次 |
以上阈值是本案例的项目验收约定,并非所有产品通用的行业标准。实际项目应结合任务重要性、已有基线和业务风险,在测试开始前确定。
完成耗时如何计量
用户阅读完任务说明、确认开始后启动计时,直到正确回答问题为止。失败者若触及 120 秒上限,记录为超时;提前放弃则记录实际结束时间及放弃原因。
成功耗时只统计成功者,避免将失败者的超时值混入完成时间。与此同时,必须单独报告成功率,否则可能出现少数用户很快成功、大多数用户完全找不到内容的情况。
路径偏差如何计量
本例将路径偏差具体定义为进入无关栏目或错误内容页面的次数。每进入一次无关页面记 1 次,返回上一页不重复计数,再次进入同一无关页面则重新计数。
例如,用户的实际路径为:
- 帮助中心首页。
- 进入账户与支付栏目,发现内容不相关,偏差记 1 次。
- 返回首页,进入退款与售后栏目。
- 打开《退款到账时间》,正确回答问题。
这名用户成功完成任务,路径偏差为 1 次。必要的栏目页、站内搜索结果列表和正常返回操作不额外计入偏差;点开错误搜索结果则计入。
这种定义比简单计算实际点击数减去理想点击数更适合允许多入口的任务,因为搜索与目录导航原本就可能具有不同的合理路径长度。
用八名用户的记录计算结果
假设邀请 8 名符合目标用户特征的参与者,每人独立完成同一个任务,得到以下模拟数据。
| 用户 | 结果 | 耗时(秒) | 路径偏差(次) |
|---|---|---|---|
| U01 | 成功 | 42 | 0 |
| U02 | 成功 | 51 | 1 |
| U03 | 成功 | 56 | 2 |
| U04 | 成功 | 68 | 1 |
| U05 | 成功 | 83 | 0 |
| U06 | 成功 | 101 | 2 |
| U07 | 失败,超时 | 120 | 1 |
| U08 | 失败,超时 | 120 | 3 |
任务成功率为 6 ÷ 8 × 100% = 75%,低于预设的 80%。对于 8 名有效参与者,至少需要 7 人成功才能达到这一阈值。
六名成功者的耗时已经按升序排列,中间两个数为 56 秒和 68 秒,因此成功耗时中位数为 (56 + 68) ÷ 2 = 62 秒,达到不超过 90 秒的要求。
八名用户的路径偏差排序为 0、0、1、1、1、2、2、3,中间两个值均为 1,因此路径偏差中位数为 1 次,也达到预设要求。
这次测试中,耗时和路径偏差达标,但成功率未达标。不能因为成功用户找得比较快,就宣布导航设计通过验收。
此外,8 人样本更适合发现明显问题并建立探索性基线。75% 是本次样本的观察结果,不应直接解释为全部真实用户的精确成功概率。
固定复测条件并定位失败原因
要比较导航改版前后的效果,必须让两轮测试的数据具有可比性。至少固定以下内容:
- 保持任务问题、目标答案和起始页面一致。
- 维持相同的设备类型、登录状态、时间上限与主持人提示规则。
- 使用相同的成功判据、耗时起止点和路径偏差计数方法。
- 保留每位用户的结果、时间、访问路径、错误页面和关键口头反馈。
- 记录测试日期、站点版本及内容版本,避免内容答案变化影响结果。
完成统计后,优先检查失败者的操作记录和成功者的绕路位置。例如,如果多名用户先进入账户与支付,却找不到退款到账说明,应检查该栏目名称是否形成错误预期,以及退款与售后入口是否足够容易识别。
不要看到一次失败就立即增加一个新栏目。应先判断失败是否集中在相同节点,再选择调整栏目标签、增加交叉入口或优化搜索别名。
完成修改后,尽量招募新的目标用户按原任务重新测试,减少重复参与者因记住目标位置而产生的学习效应。复测仍然需要同时报告成功率、成功耗时中位数和路径偏差中位数。
一份可以用于实际评审的查找任务基准,最终应包含任务原文、目标内容、成功与失败判据、计时规则、路径偏差定义、预设阈值和逐人测试记录。只有这些口径事先固定,改版前后的指标变化才有可解释的依据。