机器学习与深度学习 / 系统课时

排查数据泄漏与分布偏移

排查数据泄漏与分布偏移

当验证集分数异常高、但线上准确率明显下降时,先不要急着改网络结构。更常见的原因是数据边界被破坏,或训练、验证、线上样本来自不同分布。本节用一套可复现的审计顺序检查重复样本、预处理差异与来源偏置,并给出修复后的验收方法。

学习目标

  • 区分数据泄漏与分布偏移造成的典型现象
  • 用内容哈希、预处理契约和来源统计定位问题
  • 在重新划分数据后验证修复是否真正生效

先区分泄漏与偏移

数据泄漏意味着验证阶段看到了本不该知道的信息。图像任务中最常见的是同一原图、裁剪图或同一主体的近重复样本同时进入训练集和验证集。此时验证分数会虚高,因为模型记住了内容或拍摄条件,而不是学到了可迁移的判别规则。

分布偏移则是训练时学到的输入规律与线上输入不再一致。例如训练集主要来自棚拍,线上却来自手机;训练按 RGB、线上误用 BGR;训练先缩放再归一化,服务端却用了不同尺寸或均值。它通常表现为离线指标正常、上线后某些来源或时间段突然恶化。

按证据顺序定位

排查时先检查划分边界,再检查预处理,最后比较来源分布。这样可以避免把“重复样本造成的虚高”误判成模型能力,也避免只看整体准确率而漏掉某个来源的系统性失败。

数据泄漏与分布偏移排查流程

实际项目中还应按用户、设备、视频片段、病例或商品等业务实体做分组检查。即使文件本身不同,只要来自同一实体的高度相似图像跨越了训练与验证边界,也可能形成泄漏。

用最小审计脚本检查

下面的可运行示例同时检查三件事:训练与验证是否存在内容级重复、训练与推理的预处理规格是否一致、验证与线上数据的来源分布是否明显变化。示例用字节内容模拟图像文件,接入真实数据时可把 content 替换为 Path.read_bytes() 的结果。

python
import hashlib
from collections import Counter

def digest(content: bytes) -> str:
    return hashlib.sha256(content).hexdigest()

def source_ratio(rows):
    counts = Counter(row['source'] for row in rows)
    total = len(rows)
    return {key: counts[key] / total for key in sorted(counts)}

def tv_distance(left, right):
    keys = set(left) | set(right)
    return 0.5 * sum(abs(left.get(k, 0.0) - right.get(k, 0.0)) for k in keys)

train = [
    {'path': 'train/cat-a.jpg', 'content': b'cat-a', 'source': 'studio'},
    {'path': 'train/dog-a.jpg', 'content': b'dog-a', 'source': 'studio'},
]
valid = [
    {'path': 'valid/cat-copy.jpg', 'content': b'cat-a', 'source': 'studio'},
    {'path': 'valid/dog-b.jpg', 'content': b'dog-b', 'source': 'mobile'},
]
online = [
    {'path': 'online/cat-c.jpg', 'content': b'cat-c', 'source': 'mobile'},
    {'path': 'online/dog-c.jpg', 'content': b'dog-c', 'source': 'mobile'},
]

train_by_hash = {digest(row['content']): row['path'] for row in train}
duplicates = []
for row in valid:
    key = digest(row['content'])
    if key in train_by_hash:
        duplicates.append((train_by_hash[key], row['path']))

train_preprocess = {'resize': 224, 'color': 'RGB', 'range': '0..1', 'mean': (0.485, 0.456, 0.406)}
serve_preprocess = {'resize': 256, 'color': 'RGB', 'range': '0..1', 'mean': (0.485, 0.456, 0.406)}
mismatched = [k for k in train_preprocess if train_preprocess[k] != serve_preprocess[k]]

valid_ratio = source_ratio(valid)
online_ratio = source_ratio(online)

print('duplicate_count:', len(duplicates))
print('duplicate_pair:', duplicates[0])
print('preprocess_equal:', not mismatched)
print('mismatched_keys:', mismatched)
print('source_tv_distance:', f'{tv_distance(valid_ratio, online_ratio):.2f}')

预期输出

text
duplicate_count: 1
duplicate_pair: ('train/cat-a.jpg', 'valid/cat-copy.jpg')
preprocess_equal: False
mismatched_keys: ['resize']
source_tv_distance: 0.50

duplicate_count 大于 0 已经足以说明当前验证集不可信;preprocess_equal 为 False 表示服务端输入语义与训练端不一致。总变差距离这里只作为分布变化的报警量,0.50 说明示例中的来源占比发生了明显变化,但真实项目应结合样本量、类别和业务阈值解释,而不是机械套固定阈值。

修复后重新建立可信基线

发现重复后,应先在划分之前去重,并优先按业务实体分组切分,而不是先随机切分再删重复。若数据按时间产生,线上场景更接近未来数据,还应保留时间顺序做验证,避免未来信息提前进入训练集。

预处理差异要通过一份可版本化的“输入契约”消除:尺寸、裁剪方式、颜色顺序、数值范围、插值方式、均值和标准差都应由训练与服务端共享。仅仅参数名字相同还不够,执行顺序也必须一致。

来源偏移则应把整体指标拆成来源、设备、地区或时间窗口的分组指标。若某一来源持续恶化,应补充该来源的训练样本、调整采样权重,或单独处理采集链路,而不是只依赖全局平均准确率。

修复完成后,至少重新确认三件事:训练与验证不存在跨边界重复;训练与推理预处理契约逐项一致;线上关键来源的分组指标回到可接受范围。只有这三个条件同时成立,新的验证分数才值得用于模型选型。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查数据泄漏与分布偏移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通