交互与用户体验 / 系统课时

用任务完成率与耗时评估体验

用任务完成率与耗时评估体验

完成率升高不一定代表体验变好:用户可能多点了几次、花了更久,或者依赖提示才完成任务。以订单退款申请为例,建立统一的成功、耗时、错误和求助记录口径,再通过新旧方案对比,判断交互改动是否真正降低了用户的操作成本。

学习目标

  • 为具体用户任务定义可观察、可计算的完成率、耗时、错误次数和求助次数。
  • 组织条件一致的可用性测试,计算新旧方案的指标差异。
  • 结合用户行为记录解释数据,制定可执行的交互改进与验收标准。

先定义任务和成功条件

测试指标必须绑定具体任务,而不是笼统地评价整个页面是否好用。以电商订单退款为例,向参与者提供以下任务:

请从订单列表中找到编号为 A037、金额为 89 元的未发货订单,选择退款原因“不想要了”,提交退款申请,并确认申请已被系统接收。

为了避免不同观察人员采用不同判断标准,需要提前固定任务边界。

项目 统一规则
起点 已登录,停留在订单列表页
成功条件 页面显示“申请已提交”,且能看到退款申请编号
时间上限 240 秒
独立完成 未接受主持人操作提示,且在时限内达到成功条件
失败条件 超时、主动放弃、提交错误订单或未到达成功状态
计时起点 主持人发出开始指令
计时终点 成功状态和申请编号出现在界面上

这里评估的是“退款申请提交成功”,不是资金实际退回。用户点击提交按钮但没有获得明确结果,不能直接判为任务成功。

如果参与者中途返回上一步纠正输入,计时继续;如果超过 240 秒仍未完成,记录为超时失败。所有参与者使用同一套标准,才能让数据具有可比性。

将四个体验指标转成可记录的数据

任务完成率

任务完成率等于独立成功人数除以开始任务人数,再乘以 100%。例如,12 人参加测试,其中 9 人在时限内独立完成,完成率就是 9 ÷ 12 × 100% = 75%。

分母包含超时和主动放弃的人,不能只统计已经提交申请的参与者。如果测试中有人接受了明确操作提示才完成,应单独标记为“辅助完成”,不能混入独立完成率。

任务操作耗时

耗时从任务开始计至成功反馈出现,包括阅读、寻找入口、输入、等待反馈以及纠错时间。建议以秒为单位记录,并优先比较中位数,减少个别极慢样本对结果的影响。

例如,5 次成功任务的耗时为 65、72、80、95、210 秒,中位数是 80 秒,而平均值是 104.4 秒。中位数更能反映这组成功参与者的典型表现。

必须说明统计范围:如果只统计成功者,就标记为“成功任务耗时中位数”。失败者不能被悄悄删除后再声称所有用户都变快了;应同时报告完成率和超时人数。

错误次数与求助次数

错误需要事先定义成可观察的动作。退款任务可以统计打开错误订单、提交无效表单、误触取消等事件。正常返回修改退款原因不一定属于错误,除非观察到这是误操作。

求助次数统计参与者主动向主持人询问操作方法的次数,例如“退款入口在哪里”。界面自身提供的帮助文案不计为向主持人求助,可以另行记录其使用情况。

每位参与者的记录至少包含参与者编号、测试版本、是否独立成功、耗时、错误次数、求助次数、失败位置和关键观察。错误总数与求助总数除以参与人数,还可以得到便于跨组比较的人均次数。

用同条件测试比较新旧方案

假设旧版退款入口藏在订单详情的更多操作菜单中,新版将退款入口直接展示在符合条件的订单操作区,并增加清晰的提交反馈。

采用两组测试:旧版 A 组 12 人,新版 B 组 12 人。参与者均为首次使用该退款流程的目标用户,随机分配版本,并统一使用相同类型设备、订单数据、任务文案和网络条件。每人只测试一个版本,避免因先做过任务而记住操作路径。

主持人只负责宣读任务、计时和观察。参与者主动求助时,统一回应“请按照你自己的理解继续操作”,记录求助事件,不给予具体路径提示。

假设汇总得到以下示例数据:

指标 旧版 A(12 人) 新版 B(12 人)
独立成功人数 7 10
任务完成率 58.3% 83.3%
成功任务耗时中位数 142 秒 96 秒
错误总次数 18 8
人均错误次数 1.50 0.67
主动求助总次数 6 2
人均求助次数 0.50 0.17

新版完成率提高了 25 个百分点;成功任务耗时中位数减少了 46 秒,相对旧版下降约 32.4%;人均错误次数由 1.50 次降至约 0.67 次。

这些结果共同支持新版操作成本较低的初步判断。不过,每组只有 12 人,结果可能受到样本差异影响,不能把这一次对比直接当成统计显著性或普遍因果结论。

结合实际观察解释数字

量化指标只能指出差异,行为观察负责解释差异从哪里产生。测试时记录用户第一次停顿的位置、错误触发动作、返回路径以及成功后是否能识别操作结果。

例如,旧版的 5 名失败者中,有 3 人反复查看订单详情,却始终没有展开更多操作菜单;另有 2 人找到退款入口,但误以为点击提交后已经完成,实际上仍停留在确认步骤。这说明旧版至少存在两个不同问题:入口可发现性不足,以及提交状态表达不清晰。

新版虽然有 10 人独立完成,但剩余 2 人仍停在提交前的确认页。此时不能只凭完成率达标就结束改进,应检查按钮文案是否明确写着“提交退款申请”、按钮是否处于容易发现的位置,以及确认页是否区分“返回修改”和“提交申请”。

尤其要留意指标冲突:如果新版完成率提高,但成功任务耗时也明显增加,可能是增加了确认步骤;如果耗时缩短但错误次数上升,可能是用户在更快地做出错误选择。应回看对应录像或观察记录,而不是用单一平均值宣布方案更优。

将评估结果变成开发验收条件

在正式测试之前,就应和产品、设计、研发团队约定通过标准。以下是一套针对本例的试验性验收阈值,而非适用于所有产品的行业标准:

验收指标 本例目标 新版结果
独立完成率 不低于 80% 83.3%,达到目标
成功任务耗时中位数 不超过 110 秒 96 秒,达到目标
人均错误次数 不超过 0.80 次 0.67 次,达到目标
人均求助次数 不超过 0.25 次 0.17 次,达到目标

验收还应增加业务正确性检查:不能出现将退款请求提交到错误订单、未经确认重复提交,或者展示成功提示却没有创建申请记录的情况。这些问题即使发生一次,也应单独分级处理,不能被较高的平均完成率掩盖。

交付开发时,将测试条件、指标计算口径、汇总结果、典型失败位置和待修正交互一起写入验收记录。对于确认页停顿的问题,可进一步要求:主按钮使用明确动作文案;点击后进入提交中状态;服务端确认后展示申请编号;失败时保留原有输入并提供恢复入口。

修正完成后,使用同样的任务和统计口径重新测试,并尽量招募未参加前一轮的用户。这样既能检查开发实现是否符合设计,也能验证新改动是否继续改善完成率、耗时、错误和求助表现,而不只是让界面看起来更简洁。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用任务完成率与耗时评估体验

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通