机器学习与深度学习 / 系统课时

分析学习曲线

分析学习曲线

学习目标

  • 理解训练分数与验证分数随样本量的变化
  • 区分高偏差和高方差问题
  • 根据曲线决定增加数据还是调整模型

学习曲线的两个维度

学习曲线通常以训练样本数量为横轴,分别绘制训练分数和验证分数。它展示模型获得更多数据后,拟合能力和泛化能力如何变化。

训练与验证分数都低且接近,通常表示欠拟合或高偏差;训练分数高、验证分数明显较低,通常表示过拟合或高方差。

生成学习曲线

python
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import learning_curve
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

X, y = load_breast_cancer(return_X_y=True)
model = Pipeline([
    ("scale", StandardScaler()),
    ("model", LogisticRegression(max_iter=2000)),
])

sizes, train_scores, val_scores = learning_curve(
    model,
    X,
    y,
    cv=5,
    scoring="accuracy",
    train_sizes=np.linspace(0.2, 1.0, 5),
    n_jobs=-1,
)

plt.plot(sizes, train_scores.mean(axis=1), marker="o", label="训练")
plt.plot(sizes, val_scores.mean(axis=1), marker="o", label="验证")
plt.xlabel("训练样本数")
plt.ylabel("准确率")
plt.legend()
plt.tight_layout()
plt.show()

预期结果:

text
程序弹出训练和验证学习曲线。
随样本量增加,两条曲线通常逐渐趋于稳定。

如何制定改进动作

若两条曲线都低且接近,继续增加同类型数据帮助有限,应增加有效特征、提高模型表达能力或减少过强正则化。若训练分数高、验证分数低且差距仍在缩小,增加数据可能有效;也可以加强正则化、降低模型复杂度或改进特征。

若验证分数已经进入平台期,增加数据的边际收益可能较小,应先检查标签质量和误差样本。

避免错误结论

曲线波动大可能来自样本量太小、类别不平衡或交叉验证方式不合适。使用时间数据时不能随机抽样生成曲线,否则结果不能代表未来性能。

学习曲线只诊断当前特征、算法和参数组合。更换特征工程后需要重新绘制,不能沿用旧结论。

曲线验收

训练样本数量应覆盖从小规模到全部训练数据的多个点,每个点使用相同评分规则。若最后一个点仍在明显上升,说明更多数据可能继续有效;若早已平台化,应优先改进特征、标签或模型,而不是机械扩充数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分析学习曲线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通