机器学习与深度学习 / 系统课时

处理异常值

处理异常值

极端数据可能明显拉动均值、扩大特征尺度,进而影响模型训练。本课以交易金额为例,先用四分位距筛出可疑记录,再核对数据来源,决定修正、截断、删除或保留,最后验证处理是否改变统计结果。

学习目标

  • 区分错误值与真实极端值
  • 使用四分位距发现可疑样本
  • 选择修正、截断、删除或保留,并核验处理影响

统计异常不等于业务错误

年龄为负数属于明显错误;大额交易虽然偏离多数样本,却可能是真实业务。异常检测只负责标记可疑值,最终处理必须结合字段单位、来源和业务上限。核对记录前,不要把异常标记直接当成删除条件。

对于数值字段,可以先检查业务允许范围,再使用统计规则识别极端值。例如,交易金额为 2000 元可能远高于其他记录,但只要来源可信、业务允许,就不能仅凭金额偏大认定它是错误数据。

使用四分位距发现异常值

四分位距(IQR)衡量中间 50% 数据的分散程度。Q1 是第 25 百分位数,Q3 是第 75 百分位数,IQR 等于两者之差。常用的异常值筛选边界为:

  • 下界:Q1 − 1.5 × IQR
  • 上界:Q3 + 1.5 × IQR

低于下界或高于上界的样本会被标记为可疑。系数 1.5 是常用经验值,不是所有业务的固定标准;分布明显偏斜或包含不同业务群体时,需要结合实际情况调整。

下面使用四分位距标记极端金额。将代码保存为 outlier_demo.py。

python
import pandas as pd

values = pd.Series([100, 120, 130, 150, 180, 200, 220, 2000])

q1 = values.quantile(0.25)
q3 = values.quantile(0.75)
iqr = q3 - q1
lower = q1 - 1.5 * iqr
upper = q3 + 1.5 * iqr

# 边界外记录只是待核查样本,不能直接视为错误
outliers = values[(values < lower) | (values > upper)]

print(f"范围: {lower:.2f} 至 {upper:.2f}")
print("可疑值:", outliers.tolist())

# 暂时排除可疑值,仅评估它们对均值的影响
inliers = values[(values >= lower) & (values <= upper)]
print(f"原始均值: {values.mean():.2f}")
print(f"排除可疑值后的均值: {inliers.mean():.2f}")

在已安装 pandas 的 Python 环境中运行:

bash
python outlier_demo.py

预期输出:

text
范围: 11.25 至 321.25
可疑值: [2000]
原始均值: 387.50
排除可疑值后的均值: 157.14

本例中,Q1 为 127.50,Q3 为 205.00,IQR 为 77.50,因此筛选范围是 11.25~321.25。金额 2000 超过上界,被标记为可疑值。

原始均值为 387.50,暂时排除可疑值后降为 157.14,说明该记录对均值有明显影响。但均值变化只能证明影响程度,不能证明 2000 是错误记录,也不能据此决定删除。

核查与选择处理方式

发现可疑值后,应先根据原始记录、字段单位和业务规则核查,再选择处理策略。

  1. 修正:能够确认录入错误且找到可靠原始值时,优先修正。例如金额多录入一个零,应以原始凭证为依据恢复正确金额。
  2. 删除:确认数据错误、无法修复,并且删除不会系统性排除某类业务样本时,可以删除。需要记录删除数量和比例。
  3. 截断或变换:数值真实但对模型影响过大时,可以考虑按合理阈值截断,或对非负且明显右偏的金额使用 log1p 变换。截断会损失极端值的信息,应验证其影响。
  4. 保留:如果极端值是真实业务的重要信号,应保留。例如欺诈检测中的异常大额交易可能正是需要识别的对象,可以增加异常标记辅助建模。

验证处理效果与数据边界

验证时,先检查可疑样本的数量和比例,抽查原始记录是否真实,再比较处理前后的均值、分位数和数据分布。对于本例,应确认只有金额 2000 被标记,并核对它是否确实属于正常交易。

如果异常值处理用于机器学习,应先划分训练集、验证集和测试集。四分位数及截断阈值只从训练集计算,再原样应用到验证集、测试集和线上数据,避免利用评估数据的信息确定处理规则。

最后比较处理前后模型在验证集上的指标。如果删除或截断后训练误差下降,但验证效果变差,说明处理可能丢失了有价值的信息。此时应重新检查阈值、业务分组和样本处理方式,而不是继续扩大删除范围。

异常值处理的最终依据是数据真实性、业务含义和模型验证结果。统计边界用于发现值得检查的记录,不应替代业务判断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理异常值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通