大模型原理与训练 / 系统课时
选择秩、缩放与 Dropout
选择秩、缩放与 Dropout
LoRA 的 r、lora_alpha 与 lora_dropout 决定了适配器的容量、更新幅度和正则化强度。本节给出可直接落地的起始配置和比较方法,让参数调整围绕验证结果进行,而不是凭经验不断堆大秩。
学习目标
- 理解
r、lora_alpha与lora_dropout分别控制什么 - 为不同数据规模选择可比较的起始配置
- 设计只改变单一因素的消融实验
三个参数分别控制什么
LoRA 把原权重更新写成低秩形式 。其中 r 是低秩维度,直接决定 A、B 两个矩阵的容量;标准 LoRA 的缩放系数通常为 ,因此 lora_alpha 决定低秩更新被放大的程度。
lora_dropout 只作用在 LoRA 分支输入上,用于抑制过拟合。它不会减少需要保存的 LoRA 参数;设得过高反而可能让小数据集上的有效学习信号变弱。
用起始值建立基线
对多数指令微调或领域适配任务,可以先从 r=8 或 r=16 开始,再根据验证集表现扩大容量。一个常用的可比较起点是让 lora_alpha 取 r 的 2 倍,并把 dropout 放在 0 到 0.1 的小范围内。
from peft import LoraConfig
candidates = [
LoraConfig(r=8, lora_alpha=16, lora_dropout=0.05, target_modules=['q_proj', 'v_proj']),
LoraConfig(r=16, lora_alpha=32, lora_dropout=0.05, target_modules=['q_proj', 'v_proj']),
]
for cfg in candidates:
scale = cfg.lora_alpha / cfg.r
print(
f'r={cfg.r}, alpha={cfg.lora_alpha}, '
f'scale={scale:.1f}, dropout={cfg.lora_dropout}'
)预期输出
r=8, alpha=16, scale=2.0, dropout=0.05
r=16, alpha=32, scale=2.0, dropout=0.05这两个候选配置保持缩放比例和 dropout 不变,只改变 r,因此更适合判断“增加低秩容量”是否真的有收益。
根据任务和数据调整
数据较少、任务与基座模型接近时,较小的 r 往往足够,同时保留少量 dropout 可以降低过拟合风险。数据更多、任务分布变化更大,或需要学习明显的新表达模式时,再尝试提高 r。
如果训练损失下降很快而验证指标恶化,优先检查数据质量、学习率和训练轮数,再考虑增大 dropout;如果训练集和验证集都长期欠拟合,可以尝试提高 r,或扩大 LoRA 注入层范围。alpha 不适合脱离 r 单独讨论,因为真正影响更新幅度的是两者共同形成的缩放。
| 现象 | 优先尝试 |
|---|---|
| 明显过拟合 | 保持 r,适度增加 dropout 或减少训练轮数 |
| 训练与验证都欠拟合 | 提高 r,再评估是否扩大注入范围 |
换 r 后结果难比较 |
同时按比例调整 alpha,保持缩放一致 |
| 显存或训练时间吃紧 | 降低 r,不要先靠增大 dropout 解决 |
做可解释的消融
一次实验只改一个主变量。比较 r=8 与 r=16 时,固定数据切分、随机种子、目标模块、学习率、训练步数和 dropout;比较 dropout 时,则固定 r 与 alpha。这样才能把指标变化归因到当前超参数。
还要记录训练参数量、峰值显存、吞吐和验证指标。更大的 r 如果只带来极小质量提升,却显著增加显存与训练时间,就不值得保留。最终配置应同时满足质量和资源约束,而不是追求最大的秩。