大模型原理与训练 / 系统课时

选择秩、缩放与 Dropout

选择秩、缩放与 Dropout

LoRA 的 r、lora_alpha 与 lora_dropout 决定了适配器的容量、更新幅度和正则化强度。本节给出可直接落地的起始配置和比较方法,让参数调整围绕验证结果进行,而不是凭经验不断堆大秩。

学习目标

  • 理解 r、lora_alpha 与 lora_dropout 分别控制什么
  • 为不同数据规模选择可比较的起始配置
  • 设计只改变单一因素的消融实验

三个参数分别控制什么

LoRA 把原权重更新写成低秩形式 ΔW=sBAΔW = sBA。其中 r 是低秩维度,直接决定 A、B 两个矩阵的容量;标准 LoRA 的缩放系数通常为 s=α/rs=α/r,因此 lora_alpha 决定低秩更新被放大的程度。

lora_dropout 只作用在 LoRA 分支输入上,用于抑制过拟合。它不会减少需要保存的 LoRA 参数;设得过高反而可能让小数据集上的有效学习信号变弱。

用起始值建立基线

对多数指令微调或领域适配任务,可以先从 r=8 或 r=16 开始,再根据验证集表现扩大容量。一个常用的可比较起点是让 lora_alpha 取 r 的 2 倍,并把 dropout 放在 0 到 0.1 的小范围内。

python
from peft import LoraConfig

candidates = [
    LoraConfig(r=8, lora_alpha=16, lora_dropout=0.05, target_modules=['q_proj', 'v_proj']),
    LoraConfig(r=16, lora_alpha=32, lora_dropout=0.05, target_modules=['q_proj', 'v_proj']),
]

for cfg in candidates:
    scale = cfg.lora_alpha / cfg.r
    print(
        f'r={cfg.r}, alpha={cfg.lora_alpha}, '
        f'scale={scale:.1f}, dropout={cfg.lora_dropout}'
    )

预期输出

text
r=8, alpha=16, scale=2.0, dropout=0.05
r=16, alpha=32, scale=2.0, dropout=0.05

这两个候选配置保持缩放比例和 dropout 不变,只改变 r,因此更适合判断“增加低秩容量”是否真的有收益。

根据任务和数据调整

数据较少、任务与基座模型接近时,较小的 r 往往足够,同时保留少量 dropout 可以降低过拟合风险。数据更多、任务分布变化更大,或需要学习明显的新表达模式时,再尝试提高 r。

如果训练损失下降很快而验证指标恶化,优先检查数据质量、学习率和训练轮数,再考虑增大 dropout;如果训练集和验证集都长期欠拟合,可以尝试提高 r,或扩大 LoRA 注入层范围。alpha 不适合脱离 r 单独讨论,因为真正影响更新幅度的是两者共同形成的缩放。

现象 优先尝试
明显过拟合 保持 r,适度增加 dropout 或减少训练轮数
训练与验证都欠拟合 提高 r,再评估是否扩大注入范围
换 r 后结果难比较 同时按比例调整 alpha,保持缩放一致
显存或训练时间吃紧 降低 r,不要先靠增大 dropout 解决

做可解释的消融

一次实验只改一个主变量。比较 r=8 与 r=16 时,固定数据切分、随机种子、目标模块、学习率、训练步数和 dropout;比较 dropout 时,则固定 r 与 alpha。这样才能把指标变化归因到当前超参数。

还要记录训练参数量、峰值显存、吞吐和验证指标。更大的 r 如果只带来极小质量提升,却显著增加显存与训练时间,就不值得保留。最终配置应同时满足质量和资源约束,而不是追求最大的秩。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择秩、缩放与 Dropout

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通