交互与用户体验 / 系统课时

处理互相矛盾的研究证据

处理互相矛盾的研究证据

访谈显示用户找不到优惠券,行为报表却显示多数用户看过券面板。面对这种分歧,直接选择支持自己判断的数据容易误导产品决策。本篇以虚构的首次结算案例,演示怎样核对样本、任务条件和指标定义,保留反例,并把矛盾转化为下一轮可验证的问题。

学习目标

  • 将相反结论还原为可追溯的原始证据和适用条件。
  • 检查样本、场景、任务与事件口径,识别表面矛盾。
  • 记录无法解释的反例,设计有判定标准的补充核验。

先把结论还原为证据记录

假设研究团队要判断“首次结算时,用户能否自行找到优惠券入口”。现有两份资料看起来互相否定:

来源 对象与条件 实际记录 容易误读的结论
访谈任务 9 月 5—8 日,8 位首次结算的 App 用户,要求自行找券,限时 60 秒 6 人未在限时内找到入口 所有新客都找不到
行为报表 9 月 1—14 日,750 次有可用券的首次结算会话,混合 App 与 H5 600 次触发“券面板展示”事件,占 80% 80% 新客会自行找券

这里的 6/8 是任务失败人数,600/750 是事件出现的会话数。一个衡量指定任务的限时结果,另一个衡量面板是否展示;不能把它们直接相减,也不能把“展示”改写成“用户找到了”。

为每条证据附上研究编号、招募条件、任务原文、日期、设备、原始记录位置和事件定义版本。缺少原始记录的观点只能暂列为待核对说法,不能与可追溯证据等权比较。

按相同口径拆解冲突

先沿三条线核对,而不是立即增加访谈人数:

  1. 样本与场景:访谈只含 App 用户;报表混有 H5。按渠道、是否首次结算、是否有可用券、是否自动用券重新筛选,注明无法匹配的字段。
  2. 任务与时间:访谈明确要求“60 秒内自行找到入口”;真实流量没有统一的找券任务,也不保证用户想使用优惠券。
  3. 指标定义:检查“券面板展示”是用户点击触发,还是系统自动弹出;以会话去重,不把一次会话的重复展示算成多个用户。

假设回查这 750 次会话的首次展示来源,得到:

首次展示来源 会话数 占全部 750 次会话
系统自动弹出 384 51.2%
用户手动打开 216 28.8%
没有展示 150 20.0%

600 次展示确实成立,但其中 384 次不是主动寻找。手动打开率为 216÷750=28.8%,仍不能当作“60 秒找券成功率”:真实流量里有人不需要找券,且没有统一计时起点。若日志缺失触发来源,就应标记“来源未知”,不得猜测分配。

从分歧形成核验路径

核对后有两类结论:若样本或事件定义不同,先分层或重算;若条件统一后仍不一致,保留分歧并列出待检验假设,例如“熟悉其他购物 App 的用户更容易找到入口”或“能打开面板却不知道如何用券”。

矛盾证据对齐与追加核验流程

不要急着用一个单一原因解释所有差异。实际可能同时存在渠道差异、自动弹窗和经验差异;每个解释都应有对应的可观察信号,否则只是猜测。

保留反例,而不是清理掉它

假设访谈中的 P07 虽是首次结算,却在 9 秒内自行找到入口,并提到曾使用布局相似的购物 App。这个反例不推翻另外 6 人的受阻记录,但限制了“所有新客都找不到”的适用范围。

反例卡至少记录:编号 P07、原始操作时间码、9 秒找到、设备与版本、此前使用经验、与主结论的冲突点。把“有类似界面经验可能更容易找到入口”写成待验证假设,不能直接写成已确认的原因。若反例来自不同端或不同任务,也要在证据表中标注差异,而不是删除它。

用补充研究决定是否修改设计

安排 24 位首次在本产品结算的 App 用户,其中 12 位有类似购物 App 使用经验、12 位没有。统一设备版本、可用券状态、优惠券不自动应用,给每人相同任务:“在 60 秒内找到优惠券入口,并在 120 秒内完成用券”。主持人不提示入口。

记录两个独立结果:60 秒内是否找到入口、120 秒内是否成功用券;同时记录误点、停顿和是否出现系统引导。为避免混淆,测试期间关闭自动弹窗;线上数据则按“手动打开”和“系统自动弹出”分别统计,核对事件是否正确触发。若尚无触发来源记录,须先补齐数据采集方案。

可以事先约定一个本项目的行动阈值:若无类似经验组有至少 4/12 人未能在 60 秒内找到入口,就优先制作入口显著性改版原型并进行下一轮任务测试;若两组都容易找到却经常无法成功用券,则先排查券适用规则与反馈文案。12 人一组只用于发现问题和决定后续研究方向,不能据此宣称总体失败率或因果关系。

最终交付的研究结论应同时注明:哪项事实已经核对、哪项差异来自口径、哪些反例仍存在,以及下一次观察出现什么结果才会改变当前判断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理互相矛盾的研究证据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通