大模型原理与训练 / 技术文章

微调和 RAG 到底该怎么选

开发大模型应用时,团队经常把“让模型知道业务知识”和“让模型按照业务方式回答”混成同一个问题,于是在微调与 RAG 之间难以选择。这篇内容面向 AI 应用开发者、算法工程师和后端工程师,从知识更新、行为塑造、可追溯性、成本与维护方式拆开两种方案,最终形成一套可以直接用于技术选型的判断方法。

先分清两种方案到底改变了什么

微调和 RAG 最根本的区别,不是谁“效果更好”,而是它们作用的位置不同。

微调会优化可训练参数。全量微调更新基础权重,LoRA 等方法可以冻结基础权重并训练额外的适配参数。监督微调常用输入与目标输出的示例训练模型。 LoRA 原始论文它更适合改变模型的行为模式,例如固定回答格式、学习特定文风、强化某类任务能力,或者让模型更稳定地遵循一套输入输出规则。

这里讨论的常见 RAG 应用,在推理时检索并提供证据,可以沿用已训练的模型。检索器与生成模型也可以另行训练,训练和在线检索是两个环节。 RAG 原始论文系统先从数据库、向量库、搜索引擎或其他知识源中取回与当前问题有关的材料,再把材料连同用户问题一起交给模型生成答案。它解决的是推理时缺少外部知识的问题。

可以把两者概括成一句话:微调主要改变“模型怎么回答”,RAG 主要改变“模型回答时能看到什么”。

这个区分非常重要。假设公司每天都会更新价格、库存和内部制度,把这些变化频繁写进模型参数既慢又难验证,而 更新及时的检索链路可以提供当前版本。库存和订单状态等结构化实时数据更适合在授权后直接查询业务接口;仅有定期更新的向量索引无法确保它们实时准确。反过来,如果模型已经拿到了正确资料,却始终不能稳定输出指定 JSON、客服语气或领域分类结果,那么仅增加检索内容通常解决不了行为不稳定的问题,微调可能更合适。

知识需要频繁更新时优先考虑 RAG

判断知识应该放进参数还是外部知识库,可以先看它的生命周期。

产品文档、内部制度、客户资料、商品信息、工单记录和近期研究报告都可能持续变化。这类信息如果通过微调写入模型,每次变化都需要准备训练数据、重新训练、评估并发布模型版本,知识更新速度会受训练周期限制。

RAG 把知识与模型解耦。文档变化后,可以重新解析和建立索引,不需要重新训练基础模型。请求到来时,检索系统根据问题取回当前版本的材料,因此更适合高频更新的数据。

RAG 系统可以保留证据的文档 ID、版本和片段位置。输出中的引用仍要检查是否存在、用户是否可见、内容是否支持相应结论。企业知识助手通常不仅需要“答对”,还需要解释答案来自哪份制度、哪段文档或哪条记录。只依靠模型参数很难可靠追踪某个事实究竟来自哪条训练样本,检索记录可为来源核对提供依据。服务端应在未授权内容进入提示词之前落实权限控制,并处理撤权、文档失效和索引未同步。

因此,只要需求里出现“最新”“内部文档”“用户自己的数据”“答案需要引用来源”这些条件,RAG 通常应该先进入候选方案。

但 RAG 并不意味着把文档放进向量数据库就结束了。它还要处理文档切分、索引更新、召回、重排、权限过滤、上下文长度和提示词组织。最终效果不仅取决于模型,还取决于检索链路能不能找到真正需要的信息。

想改变输出行为时再考虑微调

微调更适合解决模型行为本身的问题。

例如,一个模型能够理解用户请求,但在数万次调用中无法稳定返回统一字段;或者需要把客服回复调整成固定风格;又或者模型需要学习一种大量重复出现、很难仅靠几条提示词描述清楚的任务模式。这些需求都与“查到哪份知识”关系不大,而与模型如何映射输入和输出有关。

微调可以用大量高质量示例强化这种映射。当训练数据结构足够稳定时,模型会逐渐把示例中的模式吸收到参数中,推理阶段不必每次携带大量示例提示词。

但不要因为某个事实在模型里不存在,就立即想到微调。把大量事实性资料做成训练集并不代表模型会像数据库一样准确记住它们。模型可能记住部分模式,也可能在不同上下文下重新组合甚至生成错误内容,而且更新某条事实也无法像修改数据库记录一样直接。

因此,适合微调的数据通常具有三个特征:输入输出关系稳定、可以准备足够多的高质量样本、目标是提升行为一致性而不是频繁同步事实。

如果只是希望模型“知道公司的最新报销制度”,优先建设可检索知识源。如果主要问题是字段缺失或类型错误,先评估结构化输出、JSON Schema 校验及失败处理。通过结构校验仍可能把类别填错。只有在真实证据到位、结构已受约束而业务映射仍反复出错时,才进一步用标注样本评估微调。 JSON Schema 对象校验

用 5 个问题快速完成选型

实际项目不需要从“微调还是 RAG”这个抽象问题开始,可以依次回答下面 5 个问题。

判断问题 更偏向 RAG 更偏向微调
信息是否经常变化 经常更新 长期稳定
是否要求给出来源 需要引用或审计 通常不依赖来源
缺少可验证、可更新的事实 核对知识源、索引和查询接口 从模型训练中难以独立验明来源
看到正确证据后仍选错业务分类 改善上下文或提示并复测 有可靠标注样本时评估
是否有大量高质量输入输出样本 不是必要条件 通常需要

第一个问题决定知识是否适合固化进参数。如果资料每天、每周甚至每月更新,训练模型通常不是理想的同步机制。

第二个问题决定系统是否需要保留证据链。金融、医疗、企业制度和技术支持等场景经常需要知道答案依据,这类需求天然更适合检索架构。

第三和第四个问题用来区分知识问题与行为问题。模型找不到公司内部文档属于知识缺失;模型已经看到正确文档却持续输出错误结构,则更像行为问题。

第五个问题是微调能否落地的现实约束。高质量微调数据往往比训练本身更难获得。只有几十条互相矛盾的样本时,继续改提示词、增加结构化约束或者优化检索链路,通常比直接训练更稳妥。

这 5 个问题并不是给两个方案简单打分,而是在定位真正的瓶颈。只有先知道问题发生在知识层、检索层还是模型行为层,技术选型才不会变成经验猜测。

成本不能只比较训练费和向量库费用

选型时最常见的误区之一,是把成本简化成“微调要花训练费,RAG 要花向量数据库费用”。真实成本分布要复杂得多。

微调的成本包括数据清洗、标注、训练、评估、模型版本管理以及后续重新训练。模型一旦升级,旧的微调数据和训练策略还需要重新验证。另一方面,如果微调能够减少超长提示词或让较小模型完成原来大模型才能完成的任务,它也可能降低长期推理成本。

RAG 的成本则集中在数据接入、解析、索引、向量化、检索、重排和在线查询链路。知识库规模扩大以后,还要处理增量更新、文档删除、版本一致性和权限隔离。检索到的上下文也会增加输入 Token 数,从而提高单次调用成本和响应延迟。

更合理的比较单位不是某一次训练或某个组件的价格,而是一段时间内的总拥有成本。可以把它写成:

TCO=Cbuild+Crun+Cupdate+Cevaluate+CoperateTCO = C_{build} + C_{run} + C_{update} + C_{evaluate} + C_{operate}

其中,CbuildC_{build} 是初始建设成本,CrunC_{run} 是持续推理成本,CupdateC_{update} 是知识或模型更新成本,CevaluateC_{evaluate} 是质量评估成本,CoperateC_{operate} 是监控和维护成本。

当知识每天变化时,RAG 的更新成本通常更有优势;当任务模式长期稳定、调用量极大,而且微调后可以使用更小模型时,微调可能逐渐摊薄训练成本。

很多生产系统最终会同时使用两者

微调和 RAG 并不是互斥架构。生产系统经常把两者放在不同层解决不同问题。

例如,一个企业客服助手可以通过 RAG 获取最新商品规则、订单政策和故障文档,同时使用经过微调的模型保持统一回答风格、正确执行工具调用并稳定输出结构化结果。这里,RAG 负责知识的新鲜度,微调负责行为的一致性。

另一个常见组合是先用 RAG 建立系统,再根据线上数据决定是否微调。项目早期知识、需求和交互方式仍在变化,此时先构建检索链路更容易快速验证业务价值。运行一段时间后,可以从真实请求中筛选高质量样本,观察哪些失败反复出现。如果大量错误并不是检索失败,而是模型在看到正确上下文后仍无法执行稳定任务,再针对这些行为准备微调数据。

这种顺序还能避免一个常见问题:在没有建立评估集之前过早训练。微调完成后如果没有固定测试集,很难判断质量提升究竟来自训练、提示词变化还是样本偶然性。

组合方案也不是组件越多越好。增加微调模型、向量数据库和重排模型会扩大维护面,因此每增加一层都应该对应一个明确的问题,而不是因为行业架构图里经常同时出现这些组件。

从失败类型反推下一步动作

技术选型最终应该落到可观测的失败类型,而不是停留在概念比较。

如果答案缺少最新事实,先检查知识源是否覆盖、索引是否及时更新以及检索结果是否包含正确材料;这通常属于 RAG 链路问题。如果正确文档已经进入上下文,模型仍然忽略关键信息,则可以继续改提示词、上下文组织或模型选择,而不是立即增加更多文档。

如果模型知道信息却无法持续遵循格式、分类标准或任务流程,可以建立专门评估集。当提示词约束已经达到瓶颈,并且手中有足够多的一致样本时,再评估微调带来的收益。

用同一组问题隔离失败

冻结知识库版本和测试集,每个问题标注正确证据、允许访问范围与期望输出。对每个版本至少跑两组,一组使用实际检索,另一组直接提供人工确认的参考证据,并保持模型和输出约束一致。比较证据命中、答案正确性、引用支持和结构合规。参考证据组通过而实际组失败时,优先排查检索或上下文组装。两组都失败时,还要检查标签、生成规则和模型能力。

下面用固定样例演示怎样区分未授权召回、缺证据、结构错误和内容错误。真实评估中,证据支持关系要按任务标注,不能只比较字符串。

python
expected = {"label": "差旅", "source": "policy-v3#travel"}
allowed = {"policy-v3#travel", "policy-v2#travel"}

def diagnose(retrieved, answer, oracle_answer):
    if not set(retrieved) <= allowed:
        return "权限失败"
    if expected["source"] not in retrieved:
        return "召回缺失" if oracle_answer == expected else "召回缺失且参考证据组失败"
    if not isinstance(answer, dict) or set(answer) != set(expected):
        return "结构失败"
    if not all(isinstance(value, str) for value in answer.values()):
        return "结构失败"
    return "通过" if answer == expected else "内容或引用失败"

current = [expected["source"]]
for hits, answer in [
    (["private#payroll"], expected),
    (["policy-v2#travel"], expected),
    (current, {"label": "差旅"}),
    (current, {"label": "餐饮", "source": expected["source"]}),
    (current, expected),
]:
    print(diagnose(hits, answer, expected))

上线对照时用独立测试集比较原方案与新增检索、结构约束或微调的版本,并记录各组的错误率、延迟和成本。样例中的精确匹配只适用于有确定答案的小测试。

如果既存在动态知识,又存在稳定行为要求,可以把问题拆开:动态事实留在外部知识系统,稳定行为通过提示词、工具约束或微调解决。不要试图让一种技术承担所有职责。

因此,一个实用的决策顺序是:先确认缺的是知识还是能力;缺知识时优先考虑 RAG,缺稳定行为时先尝试提示词和结构约束,仍不够再考虑微调;两类问题同时存在时,让 RAG 和微调分别负责自己擅长的部分。这样做比直接争论哪种技术更先进,更容易得到可验证、可维护的系统。

目录与阅读设置

记录一个想法

微调和 RAG 到底该怎么选

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通