机器学习与深度学习 / 系统课时
处理异常值
处理异常值
极端数据可能明显拉动均值、扩大特征尺度,进而影响模型训练。本课以交易金额为例,先用四分位距筛出可疑记录,再核对数据来源,决定修正、截断、删除或保留,最后验证处理是否改变统计结果。
学习目标
- 区分错误值与真实极端值
- 使用四分位距发现可疑样本
- 选择修正、截断、删除或保留,并核验处理影响
统计异常不等于业务错误
年龄为负数属于明显错误;大额交易虽然偏离多数样本,却可能是真实业务。异常检测只负责标记可疑值,最终处理必须结合字段单位、来源和业务上限。核对记录前,不要把异常标记直接当成删除条件。
对于数值字段,可以先检查业务允许范围,再使用统计规则识别极端值。例如,交易金额为 2000 元可能远高于其他记录,但只要来源可信、业务允许,就不能仅凭金额偏大认定它是错误数据。
使用四分位距发现异常值
四分位距(IQR)衡量中间 50% 数据的分散程度。Q1 是第 25 百分位数,Q3 是第 75 百分位数,IQR 等于两者之差。常用的异常值筛选边界为:
- 下界:Q1 − 1.5 × IQR
- 上界:Q3 + 1.5 × IQR
低于下界或高于上界的样本会被标记为可疑。系数 1.5 是常用经验值,不是所有业务的固定标准;分布明显偏斜或包含不同业务群体时,需要结合实际情况调整。
下面使用四分位距标记极端金额。将代码保存为 outlier_demo.py。
import pandas as pd
values = pd.Series([100, 120, 130, 150, 180, 200, 220, 2000])
q1 = values.quantile(0.25)
q3 = values.quantile(0.75)
iqr = q3 - q1
lower = q1 - 1.5 * iqr
upper = q3 + 1.5 * iqr
# 边界外记录只是待核查样本,不能直接视为错误
outliers = values[(values < lower) | (values > upper)]
print(f"范围: {lower:.2f} 至 {upper:.2f}")
print("可疑值:", outliers.tolist())
# 暂时排除可疑值,仅评估它们对均值的影响
inliers = values[(values >= lower) & (values <= upper)]
print(f"原始均值: {values.mean():.2f}")
print(f"排除可疑值后的均值: {inliers.mean():.2f}")在已安装 pandas 的 Python 环境中运行:
python outlier_demo.py预期输出:
范围: 11.25 至 321.25
可疑值: [2000]
原始均值: 387.50
排除可疑值后的均值: 157.14本例中,Q1 为 127.50,Q3 为 205.00,IQR 为 77.50,因此筛选范围是 11.25~321.25。金额 2000 超过上界,被标记为可疑值。
原始均值为 387.50,暂时排除可疑值后降为 157.14,说明该记录对均值有明显影响。但均值变化只能证明影响程度,不能证明 2000 是错误记录,也不能据此决定删除。
核查与选择处理方式
发现可疑值后,应先根据原始记录、字段单位和业务规则核查,再选择处理策略。
- 修正:能够确认录入错误且找到可靠原始值时,优先修正。例如金额多录入一个零,应以原始凭证为依据恢复正确金额。
- 删除:确认数据错误、无法修复,并且删除不会系统性排除某类业务样本时,可以删除。需要记录删除数量和比例。
- 截断或变换:数值真实但对模型影响过大时,可以考虑按合理阈值截断,或对非负且明显右偏的金额使用
log1p变换。截断会损失极端值的信息,应验证其影响。 - 保留:如果极端值是真实业务的重要信号,应保留。例如欺诈检测中的异常大额交易可能正是需要识别的对象,可以增加异常标记辅助建模。
验证处理效果与数据边界
验证时,先检查可疑样本的数量和比例,抽查原始记录是否真实,再比较处理前后的均值、分位数和数据分布。对于本例,应确认只有金额 2000 被标记,并核对它是否确实属于正常交易。
如果异常值处理用于机器学习,应先划分训练集、验证集和测试集。四分位数及截断阈值只从训练集计算,再原样应用到验证集、测试集和线上数据,避免利用评估数据的信息确定处理规则。
最后比较处理前后模型在验证集上的指标。如果删除或截断后训练误差下降,但验证效果变差,说明处理可能丢失了有价值的信息。此时应重新检查阈值、业务分组和样本处理方式,而不是继续扩大删除范围。
异常值处理的最终依据是数据真实性、业务含义和模型验证结果。统计边界用于发现值得检查的记录,不应替代业务判断。