交互与用户体验 / 系统课时
用任务测试定位用户中断节点
用任务测试定位用户中断节点
AI 对话界面能正常返回答案,不代表用户能够顺利完成任务。通过检索核对、多轮追问和敏感操作确认三类任务,可以观察用户在哪里停顿、误解或误操作,并将这些行为转化为可复现的问题记录和具体的界面修改方案。
学习目标
- 编写具有明确起点、完成条件和时间限制的 AI 对话可用性测试任务。
- 记录任务成功率、误操作、理解偏差和关键停顿位置,并区分不同失败原因。
- 根据观察证据确定修改优先级,使用相同判据进行复测。
准备可复现的测试环境
以一款支持文档检索、连续追问和消息发送的 AI 对话产品为例。招募 6 名符合目标用户画像的参与者,其中 3 人每周使用 AI 工具至少 3 次,另外 3 人每月使用不超过 1 次。这个规模适合发现初步可用性问题,不适合推断总体用户成功率。
每位参与者安排约 25 分钟:3 分钟熟悉环境、16 分钟完成任务、6 分钟回顾。由一人主持、一人记录,避免主持人在操作过程中同时整理数据而遗漏细节。
提前准备两份虚构测试资料,所有参与者使用相同版本:
- 《2026 年第三季度服务目标》:客户咨询首次响应时间不超过 4 小时。
- 《2026 年第二季度服务目标》:客户咨询首次响应时间不超过 8 小时。
将两份资料放入测试知识库,并准备一个内部测试群和一个外部协作方的模拟收件人。所有发送操作必须由测试环境拦截,不连接真实邮件、消息或外部业务系统。
每次测试开始时恢复相同的会话、文档权限和收件人状态,使用固定的模拟检索、回复和发送接口来控制条件。如果前一任务失败,下一任务可以从预置的正确会话继续,但必须记录发生了状态重置,避免前序失败掩盖后续交互问题。
将三类使用目标改写成测试任务
任务说明应使用用户能够理解的业务语言,不直接提示按钮名称、菜单位置或正确操作路径。主持人读完任务,界面就绪并发出统一的开始信号时启动计时。记录满足最后一项判据、超时或放弃的时刻。系统等待计入任务总时长,另记录其起止时间,方便区别等待与用户犹豫。任务间的预置状态重置不计入下一任务的计时。
- 检索核对,限时 6 分钟:告诉参与者「请查找 2026 年第三季度的客户咨询首次响应目标,并确认答案来自哪份资料」。成功判据为说出不超过 4 小时,打开正确来源并能够指出支持该结论的原文。仅复述 AI 答案而没有核对来源,不算完整成功。
- 多轮追问,限时 5 分钟:继续要求「把刚才的结果改写成给部门主管看的两句话,并保留原始依据」。成功判据为正确继承第三季度的时间范围和 4 小时目标,生成两句话,且引用仍指向第三季度资料。将第二季度的 8 小时误当成当前目标属于理解偏差。
- 敏感操作确认,限时 5 分钟:要求「把这段总结发送给内部测试群」。成功判据为确认的是内部测试群及正确内容,并且模拟服务的动作记录与对应回执均显示成功。确认弹窗、点击动作和发送完成是三个不同事件。测试界面初始收件人设为外部协作方,以观察用户是否发现错误、取消或返回修正。最终确认错误收件人属于高风险误操作,系统拦截也要记录。本任务发生该误操作即计为未独立成功,之后纠正并完成可另记为恢复。
这三个任务依次覆盖答案可信度、上下文继承与操作安全。测试期间不要说「点击引用」「检查确认弹窗」等引导性话语,否则无法判断界面本身能否让用户发现正确入口。
记录行为并标注关键停顿
观察记录需要区分客观行为和研究员的解释。建议给事件设置四种简短编码:P 表示停顿,M 表示误操作,D 表示理解偏差,H 表示请求帮助。
本轮试测把 8 秒作为观察阈值。用户已经看到相关信息,却在需要做出下一步选择的位置持续没有操作,并表现出寻找入口或犹豫的行为。正常阅读较长答案不应自动算作停顿。真正的任务中断另行记录,例如超过任务时限、主动放弃或无法继续。
每条记录至少包括任务编号、相对时间、界面位置、可见动作、用户原话、事件编码和是否获得提示。下面是示例记录,时间从各任务开始分别计算:
| 相对时间 | 任务与位置 | 可见行为或用户原话 | 编码 |
|---|---|---|---|
| 01:28 | 检索:答案底部 | 停顿 12 秒,说「原文在哪里?」 | P |
| 02:03 | 检索:来源列表 | 打开第二季度文档,误认为是第三季度依据 | D |
| 01:45 | 追问:回复内容 | 询问「它还记得刚才查的资料吗?」 | H |
| 04:09 | 发送:确认窗口 | 未核对收件人,直接点击确认 | M |

主持人应避免在用户停顿时立即解释。可以在持续停顿约 15 秒后提出一次中性问题:「你现在想找到什么?」不要说「来源在右边」。记录中性提问的时点。若主持人透露下一步、控件位置或答案依据,记为操作提示,之后完成计为辅助完成。中性提问的使用方式应在测试前约定。
测试前征得参与者对录屏和记录操作的同意。录屏只保留必要的交互证据,避免采集真实账号、私人对话或其他个人信息。
计算成功率并寻找失败聚集位置
每项任务单独统计。独立成功人数除以开始该任务的符合资格人数。超时、放弃、辅助完成以及任务开始后的系统故障都记录为单独结果。尚未开始的任务及预先定义的无效场次另行报告,不能为提高通过率在事后删掉失败数据。超时、主持人提示后完成和部分完成应分开记录,不能合并成成功。
假设 6 人测试得到以下示例结果:
| 任务 | 独立成功 | 关键异常 | 初步怀疑点 |
|---|---|---|---|
| 检索核对 | 4/6,66.7% | 3 人在寻找来源时停顿超过 8 秒 | 引用入口不明显 |
| 多轮追问 | 5/6,83.3% | 2 人对继承的时间范围产生疑问 | 上下文归属不可见 |
| 敏感操作 | 3/6,50.0% | 2 人尝试确认错误收件人,1 人放弃 | 确认界面缺少有效核对 |
除任务成功率,还应单独统计误操作人数、理解偏差人数和停顿人数。一个人可能先停顿后成功,也可能既产生理解偏差又发生误操作,因此这些指标不能简单相加成失败人数。
定位问题时,先查看异常是否集中在同一个界面状态,再提出原因假设。例如,3 人在答案区域找不到来源,支持检查引用入口的可见性;但不能仅凭 12 秒停顿就断言用户不理解引用概念。需要结合屏幕操作、原话和后续路径判断。
对于高风险操作,严重程度应优先于总体发生频率。即使只有 2 人错误确认收件人,也可能比 3 人寻找引用时停顿更值得先修复,因为前者一旦连接真实系统就可能造成信息误发。
汇总一组模拟发送测试
将代码保存为 task-observations.mjs,用 Node.js 运行。每位参与者保留一个互斥任务结果。错误确认是单独标记,可与放弃、部分完成等结果同时存在。模拟服务至少记录动作 ID、收件人测试标识、结果和执行次数。录屏或界面成功提示不能替代这份记录。
const allowed = new Set(["independent", "assisted", "timeout", "abandoned", "system_error", "partial"]);
function summarize(rows) {
const counts = new Map();
const seen = new Set();
let unsafe = 0;
for (const { id, outcome, wrongRecipient } of rows) {
if (seen.has(id) || !allowed.has(outcome) || (wrongRecipient && outcome === "independent")) {
throw new Error("invalid trial record");
}
seen.add(id);
counts.set(outcome, (counts.get(outcome) ?? 0) + 1);
if (wrongRecipient) unsafe++;
}
return { n: rows.length, independent: counts.get("independent") ?? 0, unsafe };
}
const rows = [
{ id: "p1", outcome: "independent" },
{ id: "p2", outcome: "independent" },
{ id: "p3", outcome: "independent" },
{ id: "p4", outcome: "partial", wrongRecipient: true },
{ id: "p5", outcome: "partial", wrongRecipient: true },
{ id: "p6", outcome: "abandoned" },
];
const report = summarize(rows);
console.log("独立完成 " + report.independent + "/" + report.n);
console.log("错误收件人确认 " + report.unsafe + "/" + report.n);预期输出
独立完成 3/6
错误收件人确认 2/6把中断证据转成改版与复测条件
每个问题都应对应一条可验证的修改假设,而不是笼统要求「优化交互体验」。按照示例结果,可以形成以下改版清单:
- 优先修正发送确认:在确认窗口的可视区域直接展示完整收件人和待发送内容;默认错误收件人不能被隐藏在折叠区。复测目标为 6 人中无人对错误收件人执行最终确认,至少 5 人正确完成发送。
- 修正来源定位:在相关答案段落附近提供明确的「查看原文」入口,来源预览展示文档标题及命中段落。复测目标为至少 5 人独立核对正确资料,寻找来源时发生超过 8 秒停顿的人数不超过 1 人。
- 明确追问上下文:在有歧义的连续任务中显示当前沿用的资料范围,例如「依据:2026 年第三季度服务目标」,并允许用户检查或更换。复测目标为至少 5 人独立完成改写,且无人将第二季度数值当成第三季度目标。
修改后使用相同的测试资料、任务措辞、计时方式和成功判据,招募另外 6 名符合画像的参与者进行复测。避免仅让原参与者重复任务,因为他们已经知道正确答案和操作路径,学习效应会掩盖界面缺陷。
最后保留一张问题追踪表,记录问题编号、出现的界面状态、参与者证据、影响人数、风险等级、修改内容以及复测结果。分开报告两轮样本、实际人数和观察到的行为。不同批次的 5/6 或 6/6 只能作为继续验证的线索,无法单独归因于改版,也无法证明总体达标。如果仍然有人在相同节点中断,就继续检查该节点的入口、反馈和操作条件,而不是单纯增加引导文字。