交互与用户体验 / 系统课时
用任务完成率与耗时评估体验
用任务完成率与耗时评估体验
完成率升高不一定代表体验变好:用户可能多点了几次、花了更久,或者依赖提示才完成任务。以订单退款申请为例,建立统一的成功、耗时、错误和求助记录口径,再通过新旧方案对比,判断交互改动是否真正降低了用户的操作成本。
学习目标
- 为具体用户任务定义可观察、可计算的完成率、耗时、错误次数和求助次数。
- 组织条件一致的可用性测试,计算新旧方案的指标差异。
- 结合用户行为记录解释数据,制定可执行的交互改进与验收标准。
先定义任务和成功条件
测试指标必须绑定具体任务,而不是笼统地评价整个页面是否好用。以电商订单退款为例,向参与者提供以下任务:
请从订单列表中找到编号为 A037、金额为 89 元的未发货订单,选择退款原因“不想要了”,提交退款申请,并确认申请已被系统接收。
为了避免不同观察人员采用不同判断标准,需要提前固定任务边界。
| 项目 | 统一规则 |
|---|---|
| 起点 | 已登录,停留在订单列表页 |
| 成功条件 | 页面显示“申请已提交”,且能看到退款申请编号 |
| 时间上限 | 240 秒 |
| 独立完成 | 未接受主持人操作提示,且在时限内达到成功条件 |
| 失败条件 | 超时、主动放弃、提交错误订单或未到达成功状态 |
| 计时起点 | 主持人发出开始指令 |
| 计时终点 | 成功状态和申请编号出现在界面上 |
这里评估的是“退款申请提交成功”,不是资金实际退回。用户点击提交按钮但没有获得明确结果,不能直接判为任务成功。
如果参与者中途返回上一步纠正输入,计时继续;如果超过 240 秒仍未完成,记录为超时失败。所有参与者使用同一套标准,才能让数据具有可比性。
将四个体验指标转成可记录的数据
任务完成率
任务完成率等于独立成功人数除以开始任务人数,再乘以 100%。例如,12 人参加测试,其中 9 人在时限内独立完成,完成率就是 9 ÷ 12 × 100% = 75%。
分母包含超时和主动放弃的人,不能只统计已经提交申请的参与者。如果测试中有人接受了明确操作提示才完成,应单独标记为“辅助完成”,不能混入独立完成率。
任务操作耗时
耗时从任务开始计至成功反馈出现,包括阅读、寻找入口、输入、等待反馈以及纠错时间。建议以秒为单位记录,并优先比较中位数,减少个别极慢样本对结果的影响。
例如,5 次成功任务的耗时为 65、72、80、95、210 秒,中位数是 80 秒,而平均值是 104.4 秒。中位数更能反映这组成功参与者的典型表现。
必须说明统计范围:如果只统计成功者,就标记为“成功任务耗时中位数”。失败者不能被悄悄删除后再声称所有用户都变快了;应同时报告完成率和超时人数。
错误次数与求助次数
错误需要事先定义成可观察的动作。退款任务可以统计打开错误订单、提交无效表单、误触取消等事件。正常返回修改退款原因不一定属于错误,除非观察到这是误操作。
求助次数统计参与者主动向主持人询问操作方法的次数,例如“退款入口在哪里”。界面自身提供的帮助文案不计为向主持人求助,可以另行记录其使用情况。
每位参与者的记录至少包含参与者编号、测试版本、是否独立成功、耗时、错误次数、求助次数、失败位置和关键观察。错误总数与求助总数除以参与人数,还可以得到便于跨组比较的人均次数。
用同条件测试比较新旧方案
假设旧版退款入口藏在订单详情的更多操作菜单中,新版将退款入口直接展示在符合条件的订单操作区,并增加清晰的提交反馈。
采用两组测试:旧版 A 组 12 人,新版 B 组 12 人。参与者均为首次使用该退款流程的目标用户,随机分配版本,并统一使用相同类型设备、订单数据、任务文案和网络条件。每人只测试一个版本,避免因先做过任务而记住操作路径。
主持人只负责宣读任务、计时和观察。参与者主动求助时,统一回应“请按照你自己的理解继续操作”,记录求助事件,不给予具体路径提示。
假设汇总得到以下示例数据:
| 指标 | 旧版 A(12 人) | 新版 B(12 人) |
|---|---|---|
| 独立成功人数 | 7 | 10 |
| 任务完成率 | 58.3% | 83.3% |
| 成功任务耗时中位数 | 142 秒 | 96 秒 |
| 错误总次数 | 18 | 8 |
| 人均错误次数 | 1.50 | 0.67 |
| 主动求助总次数 | 6 | 2 |
| 人均求助次数 | 0.50 | 0.17 |
新版完成率提高了 25 个百分点;成功任务耗时中位数减少了 46 秒,相对旧版下降约 32.4%;人均错误次数由 1.50 次降至约 0.67 次。
这些结果共同支持新版操作成本较低的初步判断。不过,每组只有 12 人,结果可能受到样本差异影响,不能把这一次对比直接当成统计显著性或普遍因果结论。
结合实际观察解释数字
量化指标只能指出差异,行为观察负责解释差异从哪里产生。测试时记录用户第一次停顿的位置、错误触发动作、返回路径以及成功后是否能识别操作结果。
例如,旧版的 5 名失败者中,有 3 人反复查看订单详情,却始终没有展开更多操作菜单;另有 2 人找到退款入口,但误以为点击提交后已经完成,实际上仍停留在确认步骤。这说明旧版至少存在两个不同问题:入口可发现性不足,以及提交状态表达不清晰。
新版虽然有 10 人独立完成,但剩余 2 人仍停在提交前的确认页。此时不能只凭完成率达标就结束改进,应检查按钮文案是否明确写着“提交退款申请”、按钮是否处于容易发现的位置,以及确认页是否区分“返回修改”和“提交申请”。
尤其要留意指标冲突:如果新版完成率提高,但成功任务耗时也明显增加,可能是增加了确认步骤;如果耗时缩短但错误次数上升,可能是用户在更快地做出错误选择。应回看对应录像或观察记录,而不是用单一平均值宣布方案更优。
将评估结果变成开发验收条件
在正式测试之前,就应和产品、设计、研发团队约定通过标准。以下是一套针对本例的试验性验收阈值,而非适用于所有产品的行业标准:
| 验收指标 | 本例目标 | 新版结果 |
|---|---|---|
| 独立完成率 | 不低于 80% | 83.3%,达到目标 |
| 成功任务耗时中位数 | 不超过 110 秒 | 96 秒,达到目标 |
| 人均错误次数 | 不超过 0.80 次 | 0.67 次,达到目标 |
| 人均求助次数 | 不超过 0.25 次 | 0.17 次,达到目标 |
验收还应增加业务正确性检查:不能出现将退款请求提交到错误订单、未经确认重复提交,或者展示成功提示却没有创建申请记录的情况。这些问题即使发生一次,也应单独分级处理,不能被较高的平均完成率掩盖。
交付开发时,将测试条件、指标计算口径、汇总结果、典型失败位置和待修正交互一起写入验收记录。对于确认页停顿的问题,可进一步要求:主按钮使用明确动作文案;点击后进入提交中状态;服务端确认后展示申请编号;失败时保留原有输入并提供恢复入口。
修正完成后,使用同样的任务和统计口径重新测试,并尽量招募未参加前一轮的用户。这样既能检查开发实现是否符合设计,也能验证新改动是否继续改善完成率、耗时、错误和求助表现,而不只是让界面看起来更简洁。