机器学习与深度学习 / 系统课时
分析学习曲线
分析学习曲线
学习目标
- 理解训练分数与验证分数随样本量的变化
- 区分高偏差和高方差问题
- 根据曲线决定增加数据还是调整模型
学习曲线的两个维度
学习曲线通常以训练样本数量为横轴,分别绘制训练分数和验证分数。它展示模型获得更多数据后,拟合能力和泛化能力如何变化。
训练与验证分数都低且接近,通常表示欠拟合或高偏差;训练分数高、验证分数明显较低,通常表示过拟合或高方差。
生成学习曲线
python
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import learning_curve
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
X, y = load_breast_cancer(return_X_y=True)
model = Pipeline([
("scale", StandardScaler()),
("model", LogisticRegression(max_iter=2000)),
])
sizes, train_scores, val_scores = learning_curve(
model,
X,
y,
cv=5,
scoring="accuracy",
train_sizes=np.linspace(0.2, 1.0, 5),
n_jobs=-1,
)
plt.plot(sizes, train_scores.mean(axis=1), marker="o", label="训练")
plt.plot(sizes, val_scores.mean(axis=1), marker="o", label="验证")
plt.xlabel("训练样本数")
plt.ylabel("准确率")
plt.legend()
plt.tight_layout()
plt.show()预期结果:
text
程序弹出训练和验证学习曲线。
随样本量增加,两条曲线通常逐渐趋于稳定。如何制定改进动作
若两条曲线都低且接近,继续增加同类型数据帮助有限,应增加有效特征、提高模型表达能力或减少过强正则化。若训练分数高、验证分数低且差距仍在缩小,增加数据可能有效;也可以加强正则化、降低模型复杂度或改进特征。
若验证分数已经进入平台期,增加数据的边际收益可能较小,应先检查标签质量和误差样本。
避免错误结论
曲线波动大可能来自样本量太小、类别不平衡或交叉验证方式不合适。使用时间数据时不能随机抽样生成曲线,否则结果不能代表未来性能。
学习曲线只诊断当前特征、算法和参数组合。更换特征工程后需要重新绘制,不能沿用旧结论。
曲线验收
训练样本数量应覆盖从小规模到全部训练数据的多个点,每个点使用相同评分规则。若最后一个点仍在明显上升,说明更多数据可能继续有效;若早已平台化,应优先改进特征、标签或模型,而不是机械扩充数据。
按自己的节奏,确认真正理解。