大模型原理与训练 / 技术文章
LoRA 为什么少参数也有效
LoRA 解决的是大模型微调时参数量巨大、显存和训练成本过高的问题,适合 AI 应用开发者、算法工程师和负责模型部署的后端工程师理解参数高效微调原理。读完后可以判断为什么少量新增参数能够改变模型行为,并选择合适的微调方式。
大模型微调为什么需要减少训练参数
一个拥有数十亿甚至数千亿参数的大模型,在进行任务适配时,如果直接更新所有权重,需要保存大量梯度、优化器状态和模型副本,训练成本会随着模型规模快速增加。
传统全参数微调的问题不只是参数数量多,还包括多个任务之间难以共享模型变化。每个任务都保存一份完整模型副本,会带来存储和部署压力。
参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)的目标是找到一种方式,只学习任务相关的变化,而不是重新调整整个模型。
LoRA 如何把权重更新变小
LoRA 的核心假设是:大模型在适应新任务时,真正需要改变的方向数量可能远小于原始参数空间,因此权重变化可以用低秩矩阵表示。
原始模型中的某个权重矩阵为 ,全参数微调会直接学习新的权重:
LoRA 不直接训练完整的 ,而是将它拆分为两个小矩阵:
其中 和 的秩为 ,通常远小于原始矩阵维度。例如,一个 4096×4096 的权重矩阵,如果使用秩为 8 的 LoRA,只需要训练两个较小矩阵,而不是超过一千六百万个原始权重。
因此训练参数量从矩阵规模的平方关系,降低到与低秩大小相关。
为什么低秩表示可以改变模型能力
大模型经过预训练后,已经学习了丰富的语言、知识和推理模式。微调阶段通常不是重新学习世界知识,而是在已有能力上增加任务偏好。
例如,让模型适应客服问答风格、代码生成规范或特定领域术语时,需要调整的是模型内部表示的一小部分方向。
LoRA 学习的低秩矩阵相当于给原模型增加一个可插拔的调整层:基础模型保留原有能力,LoRA 参数负责表达新的任务特征。
这种方式带来三个优势:
- 基础模型参数保持冻结,减少训练资源消耗。
- 不同任务可以保存不同 LoRA 权重,避免复制完整模型。
- 部署时可以动态加载或切换不同任务适配器。
LoRA 训练过程到底更新了什么
在 LoRA 训练中,原始模型权重被冻结,只有新增的低秩矩阵参与反向传播。
一次前向计算可以表示为:
其中 是原模型输出, 是 LoRA 带来的任务增量。训练时优化器只更新 和 :
# 伪代码展示 LoRA 参数更新逻辑
base_weight.requires_grad = False
lora_a.requires_grad = True
lora_b.requires_grad = True
output = base_weight @ x + lora_b @ lora_a @ x
loss = calculate_loss(output, target)
loss.backward()
optimizer.step()训练结果
基础模型参数保持冻结
LoRA 参数完成更新
模型获得新的任务适应能力LoRA 有哪些限制和适用边界
LoRA 并不是所有场景下都优于全参数微调。如果任务需要大规模改变模型知识结构,或者训练数据与预训练分布差异极大,低秩更新可能不足以表达全部变化。
实际应用中通常根据目标选择方案:
- 指令风格调整、领域问答、代码规范适配:LoRA 通常非常合适。
- 大规模知识注入或模型能力重构:可能需要更强的训练方式。
- 多任务部署:LoRA 的小体积适配器更容易管理。
理解 LoRA 的关键不是认为“参数越少越好”,而是认识到大模型已经包含大量通用能力,任务适配只需要学习其中少量方向上的变化。