机器学习与深度学习 / 系统课时
处理重复数据
处理重复数据
本课解决同一业务记录被重复采集的问题。完成后,你能够区分完全重复与业务重复,根据业务主键、更新时间和状态优先级保留正确版本,并通过唯一性和数量检查验证去重结果,避免误删合法数据。
学习目标
- 区分完全重复与业务重复,选择正确的去重字段
- 按业务主键和更新时间保留正确版本
- 验证去重前后的关键指标,识别误删风险
两种重复不能混用规则
完全重复表示全部字段一致,可以直接按整行去重;业务重复表示订单号等关键字段相同,但状态或更新时间不同,此时必须先确定保留最新记录还是优先级最高的记录。
在 Pandas 中,drop_duplicates() 默认比较所有列;指定 subset 后,只比较选定字段。keep="first" 保留首次出现的记录,keep="last" 保留最后一次出现的记录。
例如,同一订单 O1001 先后产生 PENDING 和 SUCCESS 两条记录。如果训练数据要求每个订单只保留最终状态,应按订单号去重并保留最新版本,而不是简单删除完全相同的行。
确定业务主键时,需要区分同一业务的多个版本和同一主体的多次合法行为。订单号通常可以作为订单级数据的去重键,但客户号不能直接作为订单去重键,因为一个客户可能有多笔真实订单。
完整示例
下面按订单号去重,并保留更新时间最新的一条。将代码保存为 duplicate_demo.py。运行前需要安装 Pandas。
处理顺序是先将更新时间转换为日期类型,再按时间排序,最后按订单号保留最后一条。这里通过 na_position="first" 将缺失更新时间排在最前,避免它覆盖有明确更新时间的记录。
import pandas as pd
data = pd.DataFrame({
"order_no": ["O1001", "O1001", "O1002"],
"status": ["PENDING", "SUCCESS", "FAILED"],
"updated_at": [
"2026-07-01 10:00:00",
"2026-07-01 10:02:00",
"2026-07-01 11:00:00",
],
})
data["updated_at"] = pd.to_datetime(data["updated_at"])
# 先排序,才能保证 keep="last" 对应业务上的最新版本
cleaned = (
data.sort_values("updated_at", na_position="first")
.drop_duplicates(subset=["order_no"], keep="last")
.sort_values("order_no")
)
# 验证每个业务主键恰好保留一条记录
assert cleaned["order_no"].is_unique
assert len(cleaned) == data["order_no"].nunique()
print(cleaned[["order_no", "status"]].to_string(index=False))
print(f"去重前 {len(data)} 行,去重后 {len(cleaned)} 行")运行命令:
python duplicate_demo.py预期输出:
order_no status
O1001 SUCCESS
O1002 FAILED
去重前 3 行,去重后 2 行结果说明:原始数据有 3 行,但只有 2 个不同订单号。O1001 的 SUCCESS 记录更新时间晚于 PENDING,因此保留 SUCCESS;O1002 没有重复,原样保留。
这里的 keep="last" 并不天然意味着保留最新记录,而是保留当前排列中的最后一条。只有先按照正确的业务排序规则组织数据,才能得到预期结果。
去重后的验证
去重后应检查业务主键是否唯一,并比较订单数量、金额汇总和状态比例。若结果明显变化,需要确认删除的是重复记录,而不是同一客户的多次合法业务行为。
对于本例,验证结果应满足三个条件:
- 去重前共有 3 行、2 个唯一订单号,去重后共有 2 行,删除了 1 条旧版本。
order_no不存在重复值,每个订单恰好保留一条记录。O1001的最终状态为SUCCESS,O1002的状态仍为FAILED,与更新时间规则一致。
代码中的两个 assert 分别检查主键唯一性和去重后行数。只要条件不成立,程序就会抛出 AssertionError,避免将不符合预期的数据继续交给模型训练。
对于包含订单金额的真实数据,还应按订单核对最终保留的金额,并检查去重后的总金额是否符合业务预期。不能简单要求去重前后金额相等,因为重复版本本来就可能造成重复计数。
需要单独处理的边界
相同更新时间: 如果同一订单的多个版本具有相同时间戳,仅按时间排序无法明确哪个版本更新。应增加版本号或可信的采集序号作为第二排序字段,不能依赖原始行顺序决定最终状态。
状态优先级: 如果业务要求 SUCCESS 优先于 PENDING,且这一规则高于更新时间,应先定义状态优先级,再按优先级和更新时间排序。此时不能直接套用只保留最新时间的规则。
缺失业务主键: 如果订单号为空,多个无主键记录可能被合并成一条。应先隔离这些异常记录,补齐或核实主键后再去重。更新时间缺失也应按明确规则处理,而不是默认认为该记录最新。
去重规则应与数据粒度保持一致:订单级数据通常要求一个订单一条最终记录;订单状态变更日志则可能需要保留同一订单的全部历史版本。确定数据用途后再执行去重,才能避免删除模型训练需要的真实信息。