机器学习与深度学习 / 系统课时

定义信息流推荐项目目标

定义信息流推荐项目目标

信息流推荐项目最容易失败在“模型指标很好,但上线不解决业务问题”。开始实现前,应先把推荐位置、候选规模、延迟预算、主指标、护栏指标、数据边界和验收标准写成一份可检查的项目契约,让离线实验、在线服务和最终验收围绕同一目标推进。

学习目标

  • 把业务目标转换为可计算的主指标、护栏指标和性能预算。
  • 明确训练、评估与在线服务的数据边界,避免离线结果不可复现。
  • 把最终验收条件写成可重复执行的离线与在线检查项。

先固定推荐场景与链路边界

“做一个信息流推荐系统”仍然太宽。项目首先要明确推荐发生在哪里、一次请求处理多少候选、谁负责过滤、排序输出多少条,以及端到端允许消耗多少时间。否则团队会在不同假设下优化各自的局部指标。

信息流推荐项目目标与约束关系

一个可执行的项目定义至少回答这些问题:推荐位置是首页首屏还是无限下拉;一次请求初始候选是几百还是几千;最终返回多少条;是否允许热门内容兜底;P95 延迟预算是多少;哪些内容必须过滤;哪些用户或内容不进入实验。

候选规模与延迟预算要一起确定。候选越多,理论上的可选空间越大,但召回、特征获取和排序成本也会上升。项目目标不是“候选越多越好”,而是在给定延迟和资源预算下获得足够覆盖。

把业务目标写成指标契约

主指标只保留一个最能代表当前阶段价值的指标,例如 CTR、有效播放率或下单转化率。若同时把多个指标都写成“必须最大化”,模型优化很容易失去方向。其余不可明显恶化的指标应作为护栏。

类型 示例 作用
主指标 CTR 提升不少于 3% 决定实验是否达到主要业务目标
体验护栏 负反馈率不升高超过 0.2 个百分点 防止用点击收益换来明显体验损失
供给护栏 内容覆盖率不低于基线的 98% 防止流量过度集中
性能护栏 排序服务 P95 不高于 80 ms 保证效果提升可以在线落地

相对提升和绝对变化必须写清楚。“CTR 提升 3%”通常表示相对提升,而“提升 3 个百分点”表示绝对变化,两者不能混用。所有在线指标还要提前确定统计窗口、实验单位和显著性规则。

固定数据边界与离线协议

离线数据必须使用明确的时间窗口,并保证特征只来自样本发生时已经可获得的信息。若训练样本使用未来行为、评估集与训练集按用户泄漏,离线指标再高也没有验收价值。

可以把关键约束写成项目配置,作为训练、评估和验收脚本共同读取的契约。下面是片段示例,依赖具体项目的数据表和服务名称,但字段应保持机器可读。

yaml
scene: home_feed
candidate_size: 1000
result_size: 20
latency_budget_ms:
  p95: 80
offline_split:
  train_end: "2026-08-31"
  eval_start: "2026-09-01"
  eval_end: "2026-09-07"
acceptance:
  auc_min: 0.72
  coverage_min: 0.85
  ctr_relative_lift_min: 0.03
  negative_feedback_delta_max: 0.002

这类配置本身不产生控制台输出。验证方法是让训练、离线评估、压测和实验验收都读取同一份阈值,避免指标名称、时间窗口或性能预算在不同脚本里各写一套。

把验收条件做成可重复检查

最终验收不要写成“效果明显提升”或“延迟基本可接受”,而要把条件变成确定的布尔判断。下面用一个最小 Python 示例检查四个核心条件,真实项目可把测量值替换为离线评估、压测和 A/B 实验产出的结果。

python
measured = {
    "auc": 0.735,
    "coverage": 0.88,
    "ctr_relative_lift": 0.041,
    "p95_latency_ms": 74,
}

checks = {
    "auc": measured["auc"] >= 0.72,
    "coverage": measured["coverage"] >= 0.85,
    "ctr_lift": measured["ctr_relative_lift"] >= 0.03,
    "latency": measured["p95_latency_ms"] <= 80,
}

for name, passed in checks.items():
    print(f"{name}: {'PASS' if passed else 'FAIL'}")

print("ACCEPT" if all(checks.values()) else "REJECT")

预期输出:

text
auc: PASS
coverage: PASS
ctr_lift: PASS
latency: PASS
ACCEPT

离线验收应至少固定数据版本、模型版本、评估集时间窗口和随机种子;在线验收则固定实验流量、持续时间、主指标、护栏指标与延迟预算。只有这些条件都可复现,项目目标才真正具备工程约束力。

用一页项目定义约束后续迭代

项目启动前应形成一页可执行定义:场景边界明确,候选规模和返回条数固定,P95 延迟有预算,主指标只有一个,护栏覆盖体验、供给和性能,训练与评估时间窗可追溯,离线与在线验收都有明确通过条件。

后续更换召回算法、排序模型或特征方案时,都只是在这份契约内寻找更优解。若业务场景或约束发生变化,应先更新项目定义再比较新旧方案,而不是用新的统计口径解释旧实验结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定义信息流推荐项目目标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通