机器学习与深度学习 / 系统课时

准备项目数据

准备项目数据

数据准备决定模型能学到什么,也决定评估结果是否可信。本课以客服工单分类为例,完成样本清洗、去重、标签检查和训练集、验证集、测试集划分,并说明如何避免数据泄漏。

学习目标

  • 建立从收集到质量检查的数据处理流程
  • 能完成去重、标签校验和可复现划分
  • 识别样本偏差、隐私风险和数据泄漏

数据准备的完整链路

数据通常要经过收集、清洗、标注、划分和质量检查。每一步都应保留处理规则和版本,保证后续实验能够重现。

AI 项目数据准备流程

收集时要确认数据来源、授权范围和保留期限。输入只保留预测时可见且任务必需的字段,检查自由文本中的姓名、电话、地址和证件号。分组所需的账号代号与原标识分开存放,按授权限制映射访问。替换标识后仍应检查关联或还原风险。

清洗与划分示例

示例评估未来首次出现的账户。先按创建日期设置训练、验证和测试窗,账户首次出现决定所属集合。后来出现在其他窗口的同账户记录单独计数。每个窗口内部按文本比较标签,冲突整组交人工;与更早窗口同文的后期记录不进入评估。夹具用合成账号代号和日粒度 ISO 日期。

python
from collections import Counter, defaultdict
from datetime import date

records = [
    ("2026-01-04", "A", " 无法 登录 ", "账号"),
    ("2026-01-05", "A", "无法 登录", "账号"),
    ("2026-01-06", "B", "退款没到账", "退款"),
    ("2026-02-02", "A", "账号锁定", "账号"),
    ("2026-02-02", "C", "验证码缺失", "账号"),
    ("2026-02-04", "D", "退款流程", "退款"),
    ("2026-03-01", "E", "无法 登录", "账号"),
    ("2026-03-02", "F", "重复扣款", "退款"),
    ("2026-03-04", "G", "异地登录", "账号"),
    ("2026-03-05", "H", "重开工单", "账号"),
    ("2026-03-05", "H", "重开工单", "退款"),
]

def partition(records):
    buckets = ("train", "valid", "test")
    groups = {name: defaultdict(list) for name in buckets}
    first_bucket = {}
    rejected = Counter()
    for timestamp, account, raw, label in sorted(records):
        created = date.fromisoformat(timestamp)
        if created < date(2026, 2, 1):
            bucket = "train"
        elif created < date(2026, 3, 1):
            bucket = "valid"
        else:
            bucket = "test"
        if first_bucket.setdefault(account, bucket) != bucket:
            rejected["已有账户跨窗口"] += 1
            continue
        text = " ".join(raw.split())
        if not text or label not in {"账号", "退款"}:
            rejected["空文本或范围外"] += 1
            continue
        groups[bucket][text].append((timestamp, account, text, label))

    clean = {name: [] for name in buckets}
    seen = set()
    for name in buckets:
        for text, rows in groups[name].items():
            if text in seen:
                rejected["文本跨集合重复"] += len(rows)
            elif len({row[3] for row in rows}) > 1:
                rejected["标签冲突待复核"] += len(rows)
            else:
                clean[name].append(rows[0])
                rejected["集合内重复"] += len(rows) - 1
        seen.update(groups[name])
    return clean, dict(rejected)

splits, rejected = partition(records)
print({name: len(rows) for name, rows in splits.items()})
print(rejected)

三个集合各剩 2 条。排除的 5 条包括旧账号跨窗口 1 条、集合内重复 1 条、跨集合同文 1 条和标签冲突 2 条。后期数据不会反过来改变更早窗口的留存内容。生产环境还要核对转发、同一事故模板等近重复,明确哪些属于同一事件并评估排除后的人群偏差。

标注质量与一致性

标签定义必须先于大规模标注。每个类别都应说明适用条件、排除条件和边界示例,否则不同标注者会按个人理解给出不同答案。

可以抽取同一批样本交给两名标注者,比较一致率,并集中复核争议样本。若某些样本长期无法一致判断,可能不是标注者问题,而是类别设计重叠或业务规则不清。

避免数据泄漏

随机划分并不总是安全。同一用户的多条相似工单、同一原始文档切出的多个片段,若同时出现在训练集和测试集,会让测试结果虚高。

选择切分应贴合上线目标。要评估新账户,就同时检查实体互斥和训练早于评估。要评估老账户的未来工单,可保留该账户的历史,但特征只用预测当时可用的数据,不能纳入事后处理结果。两种人群可分别报告。测试集一旦确定,不应在反复调参过程中持续查看。

质量检查清单

划分后记录每类支持数、窗口时间、实体交集、排除原因、输入输出版本和数据指纹。账号代号只用于拆分,不作为分类特征。某个类别在评估窗缺失时应补足评估,别用无该类样本的结果作保证。还要随机阅读样本,确认统计正常并不代表内容正确。

数据分布会随业务变化。上线后出现的新产品、新术语和新用户行为,需要进入持续采样和再标注流程,而不是长期依赖最初的一份静态数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

准备项目数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通