机器学习与深度学习 / 系统课时

用消融实验判断改动是否有效

用消融实验判断改动是否有效

推荐系统一次改动常同时涉及召回路、特征组、模型模块和重排规则,只看“新版本总分更高”无法判断收益来自哪里。本课用可重复的消融实验逐项移除组件,并用固定数据切分与配对随机种子区分稳定收益和偶然波动。

学习目标

  • 用“完整系统减去单个组件”的方式设计可解释消融
  • 固定数据切分、随机种子和训练条件,减少实验噪声
  • 根据多次重复实验的方向一致性决定是否保留改动

消融真正比较什么

设完整系统指标为 M_full,移除某个组件后的指标为 M_ablated。对“越高越好”的指标,可以记录差值 Δ=Mablated−Mfull\Delta = M_{ablated} - M_{full}。若多次实验中该差值持续小于 0,说明移除组件会稳定伤害效果,这个组件才有较可信的正向贡献。

一次只改变一个因素很重要。例如评估召回路 B 时,应保留相同的训练数据、排序模型、特征集合和重排规则,只关闭召回路 B。否则即使指标变化,也无法归因。

先锁死可比较条件

消融实验至少应固定以下条件:同一份训练、验证、测试切分;同一套特征快照;同一训练轮数与超参数;同一指标实现;相同的随机种子集合。对含随机初始化、负采样或随机 batch 的模型,单次跑分尤其不可靠。

推荐把每次运行记录成一行实验日志,至少包含版本、被移除模块、数据版本、seed、核心指标和资源成本。这样既能复现,也能在模型复杂度上升时判断收益是否值得。

最小可运行消融

下面模拟 5 个固定随机种子下的完整系统和三个消融版本。每个 seed 都与完整系统成对比较,因此共享的数据波动不会被误当成组件收益。

python
import random
import statistics

base = 0.320
effects = {
    "full": 0.000,
    "without_recall_b": -0.012,
    "without_feature_cross": -0.001,
    "without_rerank_diversity": -0.008,
}
offsets = {
    "full": 0,
    "without_recall_b": 101,
    "without_feature_cross": 202,
    "without_rerank_diversity": 303,
}
seeds = [11, 23, 37, 41, 53]

scores = {}

for name, effect in effects.items():
    values = []
    for seed in seeds:
        # shared 模拟同一数据切分带来的共同波动。
        shared = random.Random(seed).uniform(-0.004, 0.004)
        specific = random.Random(
            seed + offsets[name]
        ).uniform(-0.0015, 0.0015)
        values.append(base + effect + shared + specific)
    scores[name] = values

full = scores["full"]
print(f"full mean={statistics.mean(full):.4f}")

for name in effects:
    if name == "full":
        continue

    deltas = [
        score - base_score
        for score, base_score in zip(scores[name], full)
    ]
    stable = all(delta < 0 for delta in deltas)

    print(
        f"{name} mean={statistics.mean(scores[name]):.4f} "
        f"delta={statistics.mean(deltas):+.4f} "
        f"stable_drop={stable}"
    )

预期输出:

text
full mean=0.3212
without_recall_b mean=0.3088 delta=-0.0124 stable_drop=True
without_feature_cross mean=0.3196 delta=-0.0016 stable_drop=False
without_rerank_diversity mean=0.3124 delta=-0.0088 stable_drop=True

在这个示例中,移除召回路 B 和多样性重排后,5 次实验都下降,因此它们的贡献方向较稳定;交叉特征虽然均值略降,但至少有一次没有下降,证据不足以把这 0.0016 直接当成稳定收益。

用结果决定保留还是继续验证

可以把结论按“稳定、待验证、无收益”三类处理。稳定下降的消融项说明原组件有价值,可以继续进入线上实验;方向不一致的项应增加重复次数、检查分用户群结果,或评估变化是否小于业务可接受噪声;移除后反而稳定变好的组件,则应优先考虑删除以降低复杂度。

还要注意组件之间可能存在交互。例如“召回路 B 单独有效”不代表“召回路 B 与某个重排规则同时存在时仍有效”。当两个模块强耦合时,可以补一组联合消融,但不要一开始就把所有组合跑成指数规模。

最终保留的改动不应只满足“平均分更高”,还应满足数据切分一致、随机种子可复现、重复实验方向稳定,并且收益能覆盖额外的延迟、算力和维护成本。这样消融实验才是在做因果归因,而不是挑一组看起来最好看的离线数字。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用消融实验判断改动是否有效

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通