智能制造与工业软件 / 系统课时

标注缺陷并按批次划分数据集

标注缺陷并按批次划分数据集

同一工件的连续拍摄图像往往高度相似。如果把这些图像随机分进训练集和测试集,模型可能只是记住了工件纹理,评估结果就会虚高。本篇给出缺陷标注规范、样本清单和批次隔离方法,并通过代码验证数据集没有批次泄漏。

学习目标

  • 制定可复核的缺陷类别、标注边界和疑难样本处理规则。
  • 组织正常与异常样本,记录批次、工件及采集信息。
  • 按批次划分训练、验证和测试集,检查数据泄漏与类别覆盖。

定义缺陷类别与标注边界

以金属板件表面检测为例,先确定需要识别的缺陷,再统一标注尺度。类别必须对应可观察、可复核的外观特征,不应仅凭缺陷可能产生的原因命名。

类别编码 判定依据 标注方式
OK 检测区域内无目标缺陷 图像级正常标签
SCRATCH 连续线状划伤,与正常加工纹理可区分 沿可见划伤绘制紧致框
DENT 局部凹陷形成稳定的明暗或形状异常 框住可辨认的凹陷区域
STAIN 油污、污染物形成非正常色块 框住实际污染区域
UNCERTAIN 无法确定类别或边界 单独标记,暂不纳入评估

对于目标检测任务,标注框采用左上角坐标与宽高 (x, y, width, height),单位为原始图像像素。例如一条划伤在 1280×1024 图像中占据从 (320, 410) 到 (428, 426) 的区域,则框为 (320, 410, 108, 16)。

标注时遵守以下约定:

  1. 只框住可见缺陷,不把大面积正常背景包含进去。
  2. 同一图像存在两处划伤时创建两个缺陷实例,不合并为一个大框。
  3. 同一位置同时存在划伤和污点时,分别记录对应实例;确实无法区分时交由复核人员裁定。
  4. 对反光、阴影和正常加工纹理设置明确排除规则,不能把所有暗线都标成划伤。
  5. 图像中存在未确认的可疑区域时,不得直接将整张图像标记为 OK。

如果任务需要准确计算缺陷面积,可以将矩形框改为像素级掩膜。两种标注不能混用同一套面积指标:矩形框面积并不等于实际缺陷面积。

组织样本清单并执行复核

每张原始图像必须能够追溯到实际生产批次和工件。建议建立一份清单,至少包含以下字段。

字段 示例 用途
image_id B007-P015-F02 唯一图像编号
batch_id B007 生产批次标识
part_id P015 工件标识
frame_id F02 同一工件的拍摄帧
camera_id CAM01 相机或工位标识
label SCRATCH 图像主类别或类别汇总
annotation_path annotations/B007-P015-F02.json 缺陷实例标注文件
review_status APPROVED 复核状态

实际项目还应记录采集时间、产品型号、光源配置版本和标注规范版本。对于一张图像包含多个缺陷类别的情况,类别汇总不能替代逐实例标注文件。

样本采集需要同时覆盖合格品和真实不合格品。例如初期收集 3000 张图像,可以先设定正常图像 1800 张、划伤 600 张、凹陷 400 张和污点 200 张作为采集目标,但最终数量应根据真实缺陷发生率、缺陷形态覆盖度与独立批次数调整。

复核采用两级流程:标注员完成初标,复核员检查类别和边界;存在争议的样本由工艺或质量人员裁定。可以先对每类随机抽取至少 10% 进行独立复标,并对全部疑难样本进行复核,统计两名标注员的类别一致率和边界差异。

同一工件的多张相似照片不能当作多个独立缺陷案例。正常样本也要覆盖不同生产日期、表面纹理和允许的光照波动,否则模型容易把正常变化误识别为缺陷。

按生产批次隔离训练与评估数据

错误的做法是直接对所有图像随机执行 80% 训练、10% 验证、10% 测试。假设批次 B007 中同一工件连续拍摄 20 帧,这些相似帧可能同时出现在三个集合中,导致测试结果无法反映模型对新批次工件的泛化能力。

正确的方法是先以 batch_id 分组,再将完整批次分配给训练集、验证集或测试集。同一批次的全部工件、相机视角和连续帧必须留在同一个集合中。

按帧随机划分造成数据泄漏与按批次隔离的对比

下面使用 Python 标准库构造一个可独立运行的示例。共有 10 个生产批次,每批 4 张图像,其中包含同一工件的两张连续帧。示例使用简化的类别分布,演示按批次进行 60% / 20% / 20% 划分。

python
import random
from collections import Counter

# 构造演示清单:同一工件的连续帧共享批次和工件编号
manifest = []
for i in range(1, 11):
    batch = f'B{i:02d}'
    samples = [
        ('P1', 'F0', 'OK'),
        ('P1', 'F1', 'OK'),
        ('P2', 'F0', 'SCRATCH'),
        ('P3', 'F0', 'DENT'),
    ]
    for part, frame, label in samples:
        manifest.append({
            'batch_id': batch,
            'part_id': part,
            'frame_id': frame,
            'label': label,
        })

# 先打乱批次,再划分,不能直接打乱图片
batches = sorted({r['batch_id'] for r in manifest})
random.Random(42).shuffle(batches)
assigned = {
    'train': set(batches[:6]),
    'val': set(batches[6:8]),
    'test': set(batches[8:]),
}

for name, batch_ids in assigned.items():
    rows = [r for r in manifest if r['batch_id'] in batch_ids]
    counts = Counter(r['label'] for r in rows)
    print('{}: 批次={}, 图片={}, 类别={}'.format(
        name, len(batch_ids), len(rows), dict(sorted(counts.items()))
    ))

# 集合间批次不得有交集
names = list(assigned)
leaks = sum(len(assigned[a] & assigned[b])
            for i, a in enumerate(names) for b in names[i + 1:])
assert leaks == 0
print('批次泄漏:', leaks)

预期输出:

text
train: 批次=6, 图片=24, 类别={'DENT': 6, 'OK': 12, 'SCRATCH': 6}
val: 批次=2, 图片=8, 类别={'DENT': 2, 'OK': 4, 'SCRATCH': 2}
test: 批次=2, 图片=8, 类别={'DENT': 2, 'OK': 4, 'SCRATCH': 2}
批次泄漏: 0

真实项目中可以将 manifest 替换为从 CSV、数据库或标注平台导出的记录。划分结果必须保存批次与集合的对应表,并记录随机种子,避免后续训练因重新划分而改变测试范围。

检查泄漏、类别覆盖与测试集独立性

批次没有交集只是第一项检查。正式训练前还应执行以下验收:

  1. 批次隔离:训练、验证、测试三个集合的 batch_id 两两不相交;相同 part_id 如果在不同批次重复使用编号,应结合批次形成唯一工件键,并核查实际工件是否被跨批次重复采集。
  2. 重复图像:计算图像文件的 SHA-256 哈希,识别跨集合完全重复文件;对于重新编码、裁剪或轻微位移产生的近重复图像,再使用感知哈希或视觉相似度人工核查。
  3. 类别覆盖:分别统计每类缺陷的图片数、实例数和独立批次数。如果测试集没有 STAIN,就不能声称已经验证了污点检测能力。
  4. 标注质量:仅将审核通过的确定标签纳入正式评估;对 UNCERTAIN 和存在边界争议的样本单独处理,不得默认归入 OK。
  5. 分布代表性:检查相机、光源配置、产品型号、生产日期及不同班次的覆盖情况,避免测试集只包含最容易检测的工况。

例如某类划伤共有 200 张图片,但全部来自同一批次、同一工件的连续拍摄,这不能等同于 200 个独立缺陷案例。应增加不同批次、不同工件以及不同缺陷形态的样本,而不是继续对相邻帧做数据增强。

测试集应在模型选择和阈值调整之前冻结。训练集负责拟合参数,验证集用于选择模型与决策阈值,测试集只用于最终独立评估。如果根据测试集漏检结果反复修改模型,就应另外保留新的独立批次作为最终测试集。

产线部署前,还可以选取时间上晚于训练数据的完整生产批次做一次额外验证,检查材料供应、设备状态或光照变化引起的性能下降。最终交付的数据版本应同时保存图像、标注、批次划分表、标注规范版本和完整的样本统计结果,使每一项检测指标都能追溯到具体的独立工件和生产批次。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

标注缺陷并按批次划分数据集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通