机器学习与深度学习 / 系统课时

处理重复数据

处理重复数据

本课解决同一业务记录被重复采集的问题。完成后,你能够区分完全重复与业务重复,根据业务主键、更新时间和状态优先级保留正确版本,并通过唯一性和数量检查验证去重结果,避免误删合法数据。

学习目标

  • 区分完全重复与业务重复,选择正确的去重字段
  • 按业务主键和更新时间保留正确版本
  • 验证去重前后的关键指标,识别误删风险

两种重复不能混用规则

完全重复表示全部字段一致,可以直接按整行去重;业务重复表示订单号等关键字段相同,但状态或更新时间不同,此时必须先确定保留最新记录还是优先级最高的记录。

在 Pandas 中,drop_duplicates() 默认比较所有列;指定 subset 后,只比较选定字段。keep="first" 保留首次出现的记录,keep="last" 保留最后一次出现的记录。

例如,同一订单 O1001 先后产生 PENDING 和 SUCCESS 两条记录。如果训练数据要求每个订单只保留最终状态,应按订单号去重并保留最新版本,而不是简单删除完全相同的行。

确定业务主键时,需要区分同一业务的多个版本和同一主体的多次合法行为。订单号通常可以作为订单级数据的去重键,但客户号不能直接作为订单去重键,因为一个客户可能有多笔真实订单。

完整示例

下面按订单号去重,并保留更新时间最新的一条。将代码保存为 duplicate_demo.py。运行前需要安装 Pandas。

处理顺序是先将更新时间转换为日期类型,再按时间排序,最后按订单号保留最后一条。这里通过 na_position="first" 将缺失更新时间排在最前,避免它覆盖有明确更新时间的记录。

python
import pandas as pd

data = pd.DataFrame({
    "order_no": ["O1001", "O1001", "O1002"],
    "status": ["PENDING", "SUCCESS", "FAILED"],
    "updated_at": [
        "2026-07-01 10:00:00",
        "2026-07-01 10:02:00",
        "2026-07-01 11:00:00",
    ],
})

data["updated_at"] = pd.to_datetime(data["updated_at"])

# 先排序,才能保证 keep="last" 对应业务上的最新版本
cleaned = (
    data.sort_values("updated_at", na_position="first")
    .drop_duplicates(subset=["order_no"], keep="last")
    .sort_values("order_no")
)

# 验证每个业务主键恰好保留一条记录
assert cleaned["order_no"].is_unique
assert len(cleaned) == data["order_no"].nunique()

print(cleaned[["order_no", "status"]].to_string(index=False))
print(f"去重前 {len(data)} 行,去重后 {len(cleaned)} 行")

运行命令:

bash
python duplicate_demo.py

预期输出:

text
order_no  status
   O1001 SUCCESS
   O1002  FAILED
去重前 3 行,去重后 2 行

结果说明:原始数据有 3 行,但只有 2 个不同订单号。O1001 的 SUCCESS 记录更新时间晚于 PENDING,因此保留 SUCCESS;O1002 没有重复,原样保留。

这里的 keep="last" 并不天然意味着保留最新记录,而是保留当前排列中的最后一条。只有先按照正确的业务排序规则组织数据,才能得到预期结果。

去重后的验证

去重后应检查业务主键是否唯一,并比较订单数量、金额汇总和状态比例。若结果明显变化,需要确认删除的是重复记录,而不是同一客户的多次合法业务行为。

对于本例,验证结果应满足三个条件:

  1. 去重前共有 3 行、2 个唯一订单号,去重后共有 2 行,删除了 1 条旧版本。
  2. order_no 不存在重复值,每个订单恰好保留一条记录。
  3. O1001 的最终状态为 SUCCESS,O1002 的状态仍为 FAILED,与更新时间规则一致。

代码中的两个 assert 分别检查主键唯一性和去重后行数。只要条件不成立,程序就会抛出 AssertionError,避免将不符合预期的数据继续交给模型训练。

对于包含订单金额的真实数据,还应按订单核对最终保留的金额,并检查去重后的总金额是否符合业务预期。不能简单要求去重前后金额相等,因为重复版本本来就可能造成重复计数。

需要单独处理的边界

相同更新时间: 如果同一订单的多个版本具有相同时间戳,仅按时间排序无法明确哪个版本更新。应增加版本号或可信的采集序号作为第二排序字段,不能依赖原始行顺序决定最终状态。

状态优先级: 如果业务要求 SUCCESS 优先于 PENDING,且这一规则高于更新时间,应先定义状态优先级,再按优先级和更新时间排序。此时不能直接套用只保留最新时间的规则。

缺失业务主键: 如果订单号为空,多个无主键记录可能被合并成一条。应先隔离这些异常记录,补齐或核实主键后再去重。更新时间缺失也应按明确规则处理,而不是默认认为该记录最新。

去重规则应与数据粒度保持一致:订单级数据通常要求一个订单一条最终记录;订单状态变更日志则可能需要保留同一订单的全部历史版本。确定数据用途后再执行去重,才能避免删除模型训练需要的真实信息。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理重复数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通