大模型原理与训练 / 知识点
大模型从选型到部署术语速查
准备提示并控制输出
结构化输出强调结果符合指定结构,约束解码在生成时限制合法候选;用于设计机器可消费的结果,格式合法仍不代表字段内容正确。vLLM
结构化输出与约束解码
结构化输出是让模型结果满足预先规定的数据结构;约束解码则是在生成过程中限制下一步可选内容,使结果更容易满足 JSON、JSON Schema、枚举或语法规则等约束。
成立边界
结构化输出首先解决的是格式可解析性,不是事实正确性。一个响应即使完全符合 Schema,字段值仍可能与业务事实不符,例如合法地输出了错误的订单状态、日期或分类结果。
约束解码通常只能约束可形式化表达的结构和取值范围。它可以阻止缺失括号、非法枚举值等输出,却不能自动证明自由文本字段中的事实真实,也不能替代业务层校验。
与提示词约束的区别
| 概念 | 约束发生的位置 | 主要作用 |
|---|---|---|
| 提示词约束 | 输入指令 | 告诉模型应该怎样输出,但模型仍可能违背要求 |
| 结构化输出 | 接口或应用层目标 | 要求最终结果符合指定结构 |
| 约束解码 | 词元生成阶段 | 排除当前状态下不合法的候选,使格式约束更强 |
| 业务校验 | 生成完成之后 | 检查字段值是否满足业务规则和真实世界约束 |
结构化输出描述的是结果目标,约束解码描述的是实现这一目标的一种生成机制,两者不是同义词。
最小例子
假设应用要求模型返回 {"priority":"high","reason":"..."},并规定 priority 只能是 low、medium 或 high。约束解码可以限制模型只能产生合法对象和允许的枚举值。
但即使模型合法输出 {"priority":"high","reason":"用户明确要求当天处理"},应用仍需判断原始输入是否真的包含这一事实。
结束词元、停止字符串或长度限制都可能终止生成;用于区分自然完成与被截断,允许生成的最大长度并不等于模型一定会输出的长度。Hugging Face
停止条件与输出上限
停止条件决定生成在什么事件发生时结束,输出上限则规定最多允许生成多长;两者共同影响响应何时停止,但达到上限只是可能的终止原因之一。
成立边界
模型可能因为生成了结束词元、匹配到调用方指定的停止字符串,或触及最大新生成词元数等长度限制而停止。具体支持哪些停止机制、终止原因如何暴露,取决于所使用的模型、推理框架和 API。
“最大长度”表示允许的上界,而不是目标长度。模型可以在远低于上限时自然结束;反过来,如果内容尚未完成就触及长度上限,输出可能停在句子、JSON 对象或代码片段中间。
几种终止方式的区别
| 方式 | 典型触发条件 | 结果特征 |
|---|---|---|
| 结束词元 | 模型生成预定义的结束标记 | 通常表示模型自行完成生成 |
| 停止字符串 | 已生成文本命中调用方配置的字符串 | 适合在协议边界或固定标记处截停 |
| 输出上限 | 新生成内容达到配置的数量限制 | 可能发生截断,不能据此判断语义已完成 |
停止字符串还可能涉及实现差异,例如返回文本是否包含匹配到的停止内容,应以当前推理框架或接口文档为准。
最小例子
假设最多允许生成 200 个新词元。模型写完答案后在第 80 个新词元处产生结束词元,那么实际输出约为 80 个词元,而不是补足到 200 个。
如果答案写到第 200 个新词元仍未自然结束,则长度限制可能直接终止生成。此时应用若期待完整 JSON,就应检查终止原因并再次验证 JSON 是否完整,而不能只因为请求成功就直接解析使用。
接入知识并改善检索
在生成时检索外部材料并提供给模型作为上下文;用于知识库问答与资料更新,不等于修改模型权重,检索错误仍会影响最终回答。arXiv
检索增强生成(RAG)
检索增强生成(Retrieval-Augmented Generation,RAG)是在回答问题时先从外部知识源检索相关材料,再把这些材料作为上下文交给生成模型,用检索到的信息辅助生成结果的方法。
边界
RAG 改变的是模型本次生成时能看到的上下文,通常不会因此修改模型权重。知识库中的文档可以独立更新,因此它适合需要频繁更新资料、引用企业内部文档或缩小回答依据范围的场景。
RAG 也不保证回答一定正确。检索阶段可能漏掉关键材料、召回无关内容或取得过期文档;生成模型还可能误读上下文。因此评估 RAG 时应分别观察检索质量和最终回答质量,而不能只看模型是否生成了流畅文本。

与微调的区别
| 概念 | 主要改变什么 | 知识更新方式 |
|---|---|---|
| RAG | 单次请求提供给模型的外部上下文 | 更新、替换或重新索引知识库 |
| 微调 | 模型参数对任务模式或行为的适配 | 重新准备训练数据并执行训练 |
二者并不互斥:系统可以使用经过微调的模型,同时在推理阶段通过 RAG 注入最新或私有资料。
最小例子
某公司的员工手册昨天增加了新的报销规则。RAG 系统可以在知识库更新并完成索引后,检索新规则并把相关段落放入当前问题的上下文;基础模型本身的参数无需因为这次文档更新而重新训练。
常见误解是把 RAG 当成“给模型永久学会新知识”。实际上,RAG 的核心是先找资料,再把资料临时提供给生成过程;资料是否找对、是否完整,直接影响最终答案。
把文本等对象映射为可比较的数值表示;用于语义检索、聚类与匹配,向量维度相同不代表来自不同模型的向量可以直接比较。Sentence Transformers
Embedding(嵌入向量)
Embedding 是模型把文本、图片等对象映射成固定长度数值向量的表示方式,使语义或特征相近的对象能够在同一向量空间中通过距离或相似度进行比较。
边界
Embedding 表达的是模型学习到的特征表示,不是原始文本的可逆编码,也不是“每个维度都对应一个可直接解释概念”的标签集合。两个向量能否比较,取决于它们是否来自兼容的表示空间以及是否使用合适的相似度度量。
尤其需要注意:维度相同不代表向量可直接比较。两个不同模型都可能输出 768 维向量,但各维度的含义和整个空间的几何结构可能完全不同,把它们混在同一个向量索引中计算相似度通常没有意义。
与关键词表示的区别
| 表示方式 | 主要依据 | 更适合的情况 |
|---|---|---|
| Embedding | 模型学习到的语义或特征关系 | 语义检索、相似内容匹配、聚类 |
| 关键词或词项匹配 | 字面词项是否出现及其统计特征 | 精确术语、编号、专有名词匹配 |
Embedding 能发现字面不同但语义接近的内容,不过它并不会自动保证所有专有名词、数字或精确字符串都得到最佳匹配,因此实际检索系统常把语义检索与关键词检索结合使用。
最小例子
假设同一个嵌入模型把“如何重置账户密码”和“忘记密码怎么办”映射为两个距离较近的向量,即使两句话没有完全相同的词,语义检索仍可能把它们判断为相关内容;“公司食堂菜单”通常会落在较远的位置。
常见误解是认为“向量越长越准确”或“相同维度就能互换模型”。维度只是表示规格之一,真正决定比较是否有效的还有训练目标、模型版本、归一化方式和相似度计算方法等条件。
把长文档划分为便于检索和注入上下文的片段;用于设计知识索引,块大小与重叠范围影响信息完整性,切得更小并非总能提升效果。Anthropic
Chunking(文档切块)
Chunking 是把长文档划分成若干可独立索引、检索和注入模型上下文的片段,以便检索系统返回与问题相关且粒度合适的内容。
边界
切块通常发生在建立知识索引之前,但“块”没有统一固定长度。可以按段落、标题层级、句子、字符数或 Token 数切分,也可以组合结构边界与长度限制。
块太大时,一次召回可能混入大量无关内容,并占用更多上下文;块太小时,一个事实所需的前后条件可能被拆开。重叠可以缓解跨边界信息丢失,但会增加索引量和重复召回,因此不是越多越好。
与相邻概念的区别
| 概念 | 主要解决的问题 |
|---|---|
| Chunking | 文档应以多大的语义或结构单元进入检索索引 |
| Tokenization | 文本怎样转换为模型或分词器处理的 Token 序列 |
| 整篇文档索引 | 以完整文档作为一个检索单元,粒度通常更粗 |
| 上下文组装 | 检索完成后,怎样选择、排序并放入提示上下文 |
Chunking 决定的是检索单元边界,不等同于模型的 Tokenization,也不负责决定最终把哪些召回结果发送给模型。
最小例子
一份产品手册包含“安装”“认证”“故障排查”三个章节。若整篇文档作为一个块,查询“认证失败怎么办”可能召回大量无关安装内容;若按章节或小节切块,则可以只召回认证相关片段。
但若把“错误原因”和紧随其后的“恢复方法”切到两个很小的块中,只召回前者时答案仍会缺少关键条件。这说明切得更小并不必然提高检索质量。
常见误解
常见误解是把固定的 Chunk 大小当成通用最优值。实际边界取决于文档结构、查询粒度、Embedding 模型、检索策略以及可用上下文长度,通常需要结合真实查询评估召回完整性与噪声。
稀疏检索常依赖词项信号,稠密检索依赖学习得到的向量表示;用于比较关键词与语义召回,两者对专有名称和改写问法各有侧重。Anthropic
稀疏检索与稠密检索
稀疏检索主要利用词项及其权重匹配查询与文档,稠密检索则把查询和文档映射为稠密向量,并依据向量相似度寻找语义上接近的内容。
边界
BM25 是常见的稀疏检索方法,但“稀疏”不等于只能使用传统关键词算法,也存在学习得到稀疏表示的方法。稠密检索通常依赖 Embedding 模型生成固定维度向量,再使用近邻搜索寻找相似向量。
两者描述的是检索表示与匹配方式,而不是最终回答质量。实际效果还会受到切块、索引内容、Embedding 模型、查询类型、重排以及过滤条件等因素影响。
核心区别
| 维度 | 稀疏检索 | 稠密检索 |
|---|---|---|
| 主要信号 | 词项出现与权重 | 学习得到的向量表示 |
| 精确关键词 | 通常较敏感 | 取决于模型是否保留该信息 |
| 同义改写 | 可能因词面不同而漏召回 | 通常更擅长语义接近的改写 |
| 专有名词、编号 | 常有优势 | 可能因表示不足而弱化精确差异 |
| 常见实现 | BM25 等 | Embedding 加向量近邻搜索 |
把两者组合后再融合结果通常称为混合检索。混合检索不是第三种表示方式,而是同时利用两类召回信号的检索策略。
最小例子
知识库中有一句“设备出现 E1047 时检查温度传感器”。查询“E1047”时,精确词项对定位文档很重要,稀疏检索通常容易利用这一信号。
如果知识库写的是“重置账户凭据”,用户却问“忘记密码后怎样重新获得访问权限”,两段文字没有大量相同词语,但语义接近,稠密检索更可能把它们关联起来。
常见误解
常见误解是认为稠密检索一定比稀疏检索先进或准确。对错误码、产品型号、人名和精确术语,词项信号可能非常关键;对自然语言改写和同义表达,语义向量又可能更有优势。选择哪一种或是否混合,应以实际查询集上的召回表现为依据。
以允许部分召回误差换取向量搜索效率的方法;用于理解大规模向量索引,近似搜索的遗漏不同于嵌入模型本身没有表达出语义关系。Faiss
近似最近邻检索(ANN)
近似最近邻检索(Approximate Nearest Neighbor,ANN)是在向量集合中允许遗漏少量真实近邻,以显著降低大规模相似度搜索的时间或资源开销的方法。
边界
ANN 处理的是已有向量之间怎样更快地找近邻。它通常通过图索引、倒排结构、量化或候选裁剪减少需要精确比较的向量数量,因此结果可能与对全部向量逐一计算距离得到的精确最近邻不同。
这种近似误差要与嵌入误差分开:如果相关文档在嵌入空间中本来就离查询向量很远,即使执行精确最近邻搜索也未必能找回;只有“本应属于最近邻,却因近似索引或搜索参数而没有返回”才属于 ANN 检索阶段的遗漏。
与精确最近邻的区别
| 概念 | 主要目标 | 典型代价 |
|---|---|---|
| 精确最近邻 | 保证按照指定距离度量找到真正最近的结果 | 数据量大时计算或存储访问开销较高 |
| ANN | 用可接受的召回损失换取更低延迟和更高吞吐 | 可能漏掉部分真实近邻,效果受索引与搜索参数影响 |
评估 ANN 时应同时看检索延迟、吞吐和相对于精确搜索的召回率,不能只因为查询速度更快就认定索引配置更好。
最小例子
假设精确搜索得到最近的 5 个向量为 A、B、C、D、E,而一次 ANN 搜索返回 A、B、C、E、F。它快速找到了大部分真实近邻,但遗漏了 D;这属于近似检索造成的召回损失。
如果相关文档 G 的向量由于嵌入模型表达不佳,本身不在查询向量附近,那么 ANN 没返回 G 不能直接归因于近似索引。
融合关键词检索与向量检索等多路候选或排序信号;用于兼顾精确词项与语义表达,不是把不同量纲的原始分数简单相加即可。Anthropic
混合检索(Hybrid Search)
混合检索(Hybrid Search)是同时利用关键词检索、向量检索等多路检索信号,再通过候选合并、排名融合或重排得到最终结果的方法。
边界
混合检索的核心不是“必须同时使用两种搜索引擎”,而是让不同检索信号共同决定候选或排序。关键词检索擅长匹配产品编号、专有名词、代码和精确词项;向量检索更适合处理措辞不同但语义接近的内容。
不同检索器的原始分数通常没有统一含义和量纲。例如关键词相关性分数与向量余弦相似度不能默认直接比较,因此实际系统常使用分数归一化、排名融合或后续重排,而不是未经处理就把原始分数相加。
与单路检索的区别
| 方法 | 更容易捕获 | 主要局限 |
|---|---|---|
| 关键词检索 | 精确词项、编号、罕见名称和显式关键词 | 对同义改写和语义近似可能不敏感 |
| 向量检索 | 语义相近、措辞不同的内容 | 精确字符串或罕见标识符不一定稳定命中 |
| 混合检索 | 同时利用精确匹配与语义相关性 | 需要设计候选合并和排序融合策略 |
混合检索也不同于重排:前者描述多路检索信号怎样共同产生或组织候选,重排则通常是在已有候选集上再次计算相关性。两者可以同时存在。
最小例子
查询“ERR_CONNECTION_RESET 怎么处理”时,关键词检索可以稳定抓住包含 ERR_CONNECTION_RESET 的文档;向量检索还可能找到标题为“连接被对端重置的排查方法”的内容。混合检索可以保留两路候选,再根据统一的融合规则确定最终顺序。
对初步召回的候选再次评估相关性并调整顺序;用于改善送入模型的材料质量,不能补回所有未被召回的文档,也会增加计算开销。Sentence Transformers
重排序(Reranking)
重排序是在初步检索已经得到一批候选后,用更精细的相关性判断重新计算候选顺序,使最值得使用的材料更靠前。
边界
重排序处理的是已经召回的候选集合。它可以改变这些候选的先后顺序,也可以配合阈值或 Top K 筛选减少低相关材料,但通常不能找回第一阶段完全没有召回的文档。
因此,重排序效果同时受两部分限制:初步检索必须先提供足够好的候选,重排序模型再从这些候选中做更细致的区分。候选越多、模型越复杂,通常需要承担更多计算与延迟成本。

与初步检索的区别
| 概念 | 主要任务 | 能否处理未召回文档 |
|---|---|---|
| 初步检索 | 从大规模语料中快速找到候选 | 可以决定哪些文档进入候选集合 |
| 重排序 | 对已有候选进行更精细的相关性比较 | 通常不能补回未进入候选集合的文档 |
两者不是替代关系。常见设计是先用速度较快的方法扩大召回,再用成本更高但判断更细的模型缩小并重排候选。
最小例子
假设查询“如何重置数据库密码”首先召回 20 个文档,其中排在第一位的是泛化的账号管理说明,而真正描述数据库密码重置流程的文档排在第七位。重排序模型可以重新比较查询与这 20 个候选,把更相关的文档提升到前几名,再选取其中若干条交给后续模型。
如果正确文档根本没有进入这 20 个候选,重排序阶段通常无从判断它,也不能凭空把它加入结果。
常见误解是把重排序当成“第二次完整搜索”。更准确的判断是:它主要改善已有候选的排序质量,召回缺失仍应从检索策略、索引、查询改写或候选规模等环节排查。
让回答与可核验的外部材料建立依据关系;用于区分有来源支撑的回答与自由生成,仅附上引用标记不代表引用内容真正支持结论。谷歌云
依据约束(Grounding)
依据约束是让模型回答中的关键结论受到可核验材料约束,并能判断这些材料是否真正支持相应结论,而不是只依赖模型自由生成。
边界
判断回答是否有依据,核心不是“有没有附来源”,而是结论与证据之间是否存在有效支持关系。材料存在、引用格式正确,都不能单独证明某个具体陈述已经被材料支持。
依据可以来自检索到的文档、数据库记录、工具结果或其他可信上下文;具体系统允许哪些来源、如何验证支持关系,则取决于实际实现。依据约束也不能保证来源本身绝对正确,来源质量仍需单独判断。

与引用和 RAG 的区别
| 概念 | 回答的问题 |
|---|---|
| 依据约束 | 回答中的结论是否受到外部材料支持和约束 |
| 引用 | 回答是否标出了某个来源,以及读者能否定位该来源 |
| RAG | 系统是否先检索外部材料,再把材料提供给生成模型 |
RAG 可以为依据约束提供材料,但“检索到了文档”不等于最终回答一定忠实于文档。引用同样只是呈现来源的一种方式;若引用内容与结论无关,引用本身不能建立依据关系。
最小例子
某份政策文件明确写着“商品可在签收后 30 天内申请退货”。回答据此说“退货期限为签收后 30 天”,这一结论有直接材料支持。
如果回答进一步声称“所有商品都免运费退货”,而材料没有说明运费规则,那么后一项结论仍缺乏依据。即使在句末附上同一份政策文件的引用标记,也不会自动让该结论成立。
常见误解是把“有引用”“用了 RAG”或“引用了可信网站”直接等同于已完成依据约束。核对时应逐项检查关键结论是否能由对应材料实际推出。
划清智能体应用边界
围绕当前任务选择、组织并更新模型可见的信息;用于管理提示词、工具结果和历史消息,不只是润色一句提示,也不是扩充模型权重。Anthropic
上下文工程
上下文工程是围绕当前任务,选择、组织、压缩并持续更新模型在本次推理中可见的信息,使模型获得足够且相关的任务状态,而不只是把一句提示词写得更漂亮。
它管理的是什么
上下文工程关注的是一次具体推理要让模型看到什么。除了系统指令和用户请求,还可能涉及历史消息、检索结果、工具返回、任务状态以及可用工具描述。核心动作包括选择、排序、压缩、补充和淘汰信息。

为什么需要持续管理
上下文不是越长越好。信息过多会增加输入成本,也可能让真正相关的内容变得不突出;信息过少则可能缺失完成任务所需的规则、事实或状态。因此,上下文工程通常会随着任务推进不断更新当前上下文。
例如,一个客服智能体已经积累几十轮对话,而当前问题只涉及最近一笔订单。可以保留当前诉求、该订单记录和必要规则,对较早对话做摘要,并排除无关订单信息。变化的是本轮可见信息,而不是模型权重。
与相邻概念的区分
| 概念 | 主要处理对象 | 对模型权重的影响 |
|---|---|---|
| 上下文工程 | 当前任务可见的信息集合及组织方式 | 否 |
| 提示词工程 | 指令、问题和示例的表达方式 | 否 |
| 微调 | 训练数据驱动的模型参数调整 | 通常是 |
提示词工程可以成为上下文工程的一部分,但上下文工程的范围更广:它还要决定哪些历史消息继续保留、哪些检索结果进入上下文、工具结果如何回填,以及何时压缩或删除信息。
成立边界
只有当讨论的是推理时实际提供给模型的信息时,才适合称为上下文工程。单纯修改模型参数属于训练或微调;单独优化一句指令,则更接近提示词工程。
常见误解是把上下文工程等同于“写一个更长的 Prompt”。真正需要优化的是信息与当前任务之间的相关性、可辨别性、组织方式和时效性,而不是单纯增加字数。
模型提出工具名称与结构化参数,由应用侧校验并执行;用于接入查询或业务操作,生成调用请求不等于工具已经执行或权限已经获得。Anthropic
工具调用(Tool Calling)
工具调用是模型根据已声明的工具能力生成工具名称和结构化参数,再由应用侧决定是否校验、授权并实际执行;生成调用请求不等于外部操作已经发生。
核心边界
工具调用至少包含两个不同阶段:模型提出调用请求,应用处理并执行请求。模型可以决定调用哪个已声明工具并生成参数候选,但不能仅凭输出结果获得执行权限,也不能直接代表应用访问数据库、调用 API 或修改业务状态。
应用侧应把模型输出当作不可信输入处理,至少检查参数格式、业务约束、身份权限和目标资源是否允许当前操作。执行完成后,再把工具结果反馈给模型,由后续轮次生成最终回答。

调用请求与执行结果不是一回事
| 概念 | 发生位置 | 含义 |
|---|---|---|
| 工具调用请求 | 模型输出阶段 | 表达希望使用哪个工具以及传入什么参数 |
| 工具执行 | 应用或工具运行时 | 经过校验、授权后真正访问外部系统 |
| 工具结果 | 执行完成后 | 外部系统返回的数据、状态或错误 |
| 普通文本回答 | 模型输出阶段 | 不包含可执行的外部操作请求 |
因此,日志中只看到模型生成了工具名和参数,不能证明查询已经成功,更不能证明写操作已经完成。确认执行状态应依据应用侧执行记录、工具返回值或目标系统的实际状态。
安全检查点
一个可靠的工具调用链通常按“声明工具 → 生成请求 → 校验参数 → 校验权限 → 执行工具 → 返回结果”的顺序处理。尤其是删除、付款、发送消息、修改配置等有副作用的操作,不应把模型生成的参数直接交给高权限接口。
参数校验失败时,应停止执行并返回结构化错误;外部工具超时、拒绝或返回业务错误时,也应保留失败状态,而不是把未成功的调用描述成已经完成。
最小表示
下面的 JSON 只表示模型提出了“查询订单”的调用意图,不表示订单服务已经收到请求:
{
"tool": "get_order",
"arguments": {
"order_id": "<ID>"
}
}应用接收到该对象后,需要根据实际系统检查 <ID> 格式以及当前调用者是否有权访问对应订单,再决定是否执行真实工具。字段名称和参数类型是否有效,还必须以工具声明的 schema 为准。
常见误区
最常见的误解是把“模型输出了合法工具参数”当成“工具调用已经成功”。两者之间至少隔着参数校验、授权和实际执行;对于有副作用的操作,还应进一步确认目标系统的最终状态。
智能体由模型动态选择后续动作,工作流主要遵循预先定义的路径;用于判断自动化方案边界,调用多次模型并不自动构成自主智能体。Anthropic
智能体与工作流
智能体是由模型依据当前目标、状态和执行结果动态决定后续动作的系统;工作流则主要按照开发者预先定义的步骤、分支和控制逻辑推进任务。
边界
判断两者时应看谁决定下一步做什么,而不是看调用了多少次模型。固定执行“提取信息 → 分类 → 生成回复”的程序,即使包含多次模型调用,本质上仍是工作流。
智能体通常允许模型在受控范围内选择工具、决定调用顺序、根据观察结果调整下一步,甚至在达到目标或满足停止条件前重复执行。它仍然可以受到工具白名单、权限、预算、最大步数和人工审批等约束;“动态决策”并不等于无限自主。
与工作流的区别
| 概念 | 下一步主要由谁决定 | 路径特征 |
|---|---|---|
| 工作流 | 预先编写的程序逻辑 | 路径基本已知,可包含固定条件分支和循环 |
| 智能体 | 模型结合当前状态动态选择 | 执行前不一定能确定完整动作序列 |
工作流可以调用模型判断某个分支,但如果所有可走路径和后续动作仍由程序预先规定,它通常仍属于工作流。反过来,智能体也可能嵌入固定工作流,例如在某一步进入模型驱动的工具选择环节。
最小例子
客服系统固定执行“识别意图 → 查询订单 → 生成回复”,属于工作流。若系统只给模型一个“解决用户订单问题”的目标和一组受限工具,由模型根据查询结果决定继续查物流、申请退款还是请求人工介入,则具有智能体特征。
常见误解是把“连续调用多次大模型”直接等同于智能体。真正需要检查的是动作选择权和执行路径是否由模型根据运行时反馈动态决定。
由应用保存并按需带回上下文的历史事实、摘要或任务状态;用于多轮与跨会话连续性,不等于模型记住所有对话,更不自动更新权重。Anthropic
会话记忆(Memory)
会话记忆是应用保存历史事实、摘要、偏好或任务状态,并在后续请求需要时重新提供给模型的机制,用来维持多轮或跨会话连续性。
边界
记忆通常属于应用层能力:应用决定保存什么、保存多久、何时检索,以及哪些内容重新放入模型当前上下文。底层实现可以是数据库、键值存储、摘要记录或其他检索系统,但具体实现方式不属于这个术语的定义条件。
把信息写入记忆并不会自动修改模型参数。模型下一次能够利用某条历史信息,通常是因为应用再次把它作为上下文提供给模型,而不是模型永久保存了此前所有输入。
与相邻概念的区别
| 概念 | 保存或作用的位置 | 主要作用 |
|---|---|---|
| 当前上下文 | 本次模型请求可见的输入 | 支撑当前一次推理 |
| 会话记忆 | 应用维护的持久或半持久信息 | 在之后的请求中恢复相关历史 |
| 模型权重 | 模型训练得到的参数 | 决定模型的一般能力与行为模式 |
记忆也不等于完整聊天记录。实际系统可以只保存少量结构化事实或历史摘要,并在相关时才取回;没有被重新提供给模型的信息,通常不会因为“曾经聊过”就自然出现在当前推理中。
最小例子
用户在一次会话中把项目名称设为“Atlas”。应用把这一事实保存为记忆。几天后用户询问“继续上次项目”,应用检索到“项目名称:Atlas”并把它加入当前上下文,模型因此能够继续处理相关任务。
常见误解是认为开启 Memory 后模型会记住全部历史对话,或者新记忆会立即写入模型权重。更准确的理解是:应用选择性保存信息,并在需要时重新提供给模型。
规范人工智能应用与外部工具、资源等能力交互的协议;用于理解可复用连接层,不是模型本身,也不替代工具端的身份认证与授权。Model Context Protocol
模型上下文协议(MCP)
MCP(Model Context Protocol)是一套让 AI 应用以统一方式发现并调用外部能力、读取资源或使用预定义提示的协议;查到这个术语时,应把它理解为应用与外部能力之间的连接协议,而不是模型能力本身。
边界
MCP 规定的是通信与能力暴露方式。一个典型关系中,AI 应用作为 Host 管理一个或多个 MCP Client,Client 与 MCP Server 建立连接;Server 再把工具、资源或提示等能力提供给应用使用。具体数据来自哪里、工具真正执行什么,仍由 Server 背后的系统决定。

MCP 也不自动解决权限问题。即使某个 Server 暴露了“读取文件”或“执行查询”的能力,应用是否能访问、能访问哪些对象,仍需要由实际部署、认证、授权和审计机制约束。
与 API、工具调用的区别
| 概念 | 主要回答的问题 |
|---|---|
| MCP | AI 应用如何用统一协议发现并连接外部能力 |
| API | 某个具体系统如何暴露数据或操作接口 |
| 工具调用 | 模型或应用在一次任务中选择并触发某个工具 |
MCP Server 可以把既有 API 包装为 MCP 能力;模型也可以通过应用层的工具调用机制触发这些能力。因此三者经常同时出现,但不是同一层概念。
最小例子
一个代码助手需要读取仓库文件并查询工单系统。应用可以分别连接“代码仓库 MCP Server”和“工单 MCP Server”,先发现各自可用能力,再在任务中请求读取文件或查询工单。MCP 统一的是连接和调用方式,不会把两个后端系统改造成同一种业务服务。
常见误解是把“MCP 已连接”理解成“模型已经获得全部系统权限”。连接只说明协议链路和能力可被发现;真正可执行的操作仍受 Server 实现、凭据、授权范围和运行环境限制。
读懂结构与生成原理
以注意力和前馈网络等组件构建序列表示的架构;用于阅读模型结构说明,编码器、解码器和编码器解码器组合并不是同一种任务接口。arXiv
Transformer 架构
Transformer 是一类以注意力机制和逐位置前馈网络为核心、配合位置信息与残差等结构处理序列的神经网络架构;查模型结构说明时,先确认它使用的是编码器、解码器,还是两者组合,才能正确理解输入输出方式。
边界
“Transformer”描述的是架构家族,不等于“大语言模型”,也不等于“自注意力”这一单个算子。现代实现会在归一化位置、位置编码、注意力变体和前馈层形式上继续演化,但仍可从注意力块、前馈块以及层间堆叠关系理解其主体结构。

常见结构形态
| 形态 | 典型信息流 | 常见用途 |
|---|---|---|
| 编码器型 | 同时读取输入序列,得到上下文化表示 | 分类、检索表征、序列标注 |
| 解码器型 | 受因果约束,根据已有 token 预测后续 token | 自回归文本生成 |
| 编码器-解码器型 | 先编码输入,再由解码器基于编码结果生成输出 | 翻译、摘要等序列到序列任务 |
这些用途只是常见模式,不是绝对限制。判断一个具体模型如何使用,仍应以它的结构说明和训练目标为准。
与注意力机制的区别
注意力是 Transformer 中的关键计算机制,用来根据当前位置与其他位置的相关性聚合信息;Transformer 则是把注意力、前馈网络、残差连接、归一化以及位置信息等组件组织成可堆叠网络的整体设计。
因此“模型用了 attention”不能单独证明它就是标准 Transformer;反过来,Transformer 的行为也不能只靠注意力矩阵解释。
最小例子
给定“猫坐在垫子上”这段文本,编码器型模型通常为每个 token 生成结合上下文的表示;解码器型模型可以在“猫坐在”之后继续预测下一个 token;编码器-解码器模型则可以先编码整句中文,再由解码器逐步生成另一种语言的译文。
常见误解是把所有 Transformer 都当成“聊天式下一 token 生成器”。聊天模型常见于解码器型架构,但编码器型和编码器-解码器型模型拥有不同的计算路径与任务接口。
根据当前位置之前的词元预测后续词元的训练目标;用于理解自回归生成,因果掩码限制可见信息,但不意味着训练必须逐词串行计算。Hugging Face
因果语言建模(CLM)
因果语言建模(Causal Language Modeling,CLM)是一种语言模型训练目标:位置 t 的预测只能依赖位置 t 之前的词元,用已知前缀预测下一个词元。
边界
CLM 约束的是每个预测位置能看到哪些上下文,而不是要求训练时必须一个词元接一个词元地执行。训练数据中的整段目标序列已经已知,因此 Transformer 可以同时计算多个位置的表示,只需通过因果掩码阻止当前位置读取未来词元。
生成阶段则不同:第一个新词元生成后,才能把它加入上下文并继续生成下一个词元,所以自回归推理在时间维度上具有顺序依赖。

与掩码语言建模的区别
| 概念 | 可见上下文 | 典型预测方式 |
|---|---|---|
| CLM | 当前位置之前的词元 | 根据前缀预测后续词元 |
| 掩码语言建模(MLM) | 通常可同时利用掩码位置左右两侧上下文 | 恢复被遮盖的词元 |
因此,两者最关键的区别不是模型参数规模,而是训练目标以及信息可见范围。
最小例子
给定序列“今天 天气 很 好”,预测“好”时可以利用“今天 天气 很”,但不能提前读取“好”之后的内容。训练时,“天气”“很”“好”等多个位置对应的损失仍可在一次前向计算中共同得到。
常见误解是把“因果”理解成真实世界中的因果关系。CLM 中的“因果”主要指时间或序列方向上的可见性约束,并不表示模型学到的统计关联就是可靠的因果推断。
由查询和键计算关联权重,再汇总值向量以更新序列表示;用于理解上下文信息交互,注意力权重不能直接当作可信的因果解释。arXiv
自注意力与 QKV
自注意力(Self-Attention)让序列中的每个位置根据同一序列其他位置的信息更新自己的表示;Q、K、V 分别承担“我要找什么”“我能被怎样匹配”“真正汇总什么内容”的角色。
Q、K、V 的边界
对于一个输入表示,模型通常通过不同的线性投影得到 Query(Q)、Key(K)和 Value(V)。某个位置的 Q 与各位置的 K 计算匹配分数,分数归一化后成为权重,再按这些权重对对应的 V 做加权汇总。
Q 和 K 主要决定关注关系,V 承载被汇入新表示的内容。三者通常来自同一批输入时称为自注意力;如果 Q 与 K、V 来自不同序列或不同表示来源,则属于交叉注意力等其他形式。

与相邻概念的区别
| 概念 | 作用 |
|---|---|
| Q | 表示当前位置希望从上下文检索什么 |
| K | 表示各位置可用于匹配的特征 |
| V | 表示匹配后真正被加权汇总的信息 |
| 注意力权重 | Q 与 K 的匹配结果经过归一化后的系数 |
多头注意力会使用多组投影,让不同注意力头在不同表示子空间中分别计算这种关系,再合并结果;它没有改变 Q、K、V 的基本职责。
最小例子
在“猫 坐在 垫子 上”中,当模型更新“坐在”的表示时,该位置的 Q 会与各词元的 K 进行匹配。如果“猫”和“垫子”得到较高权重,它们对应的 V 就会对“坐在”的新表示贡献更多信息。
常见误解是把较大的注意力权重直接解释成“这个词导致了模型输出”。注意力权重描述一次内部信息聚合中的相对权重,还会受到层数、注意力头、残差连接和后续计算影响,因此不能单独当作可信的因果解释。
分别采用多组、共享一组或分组共享的键值头组织注意力;用于比较推断效率与缓存开销,减少键值头不等于减少同样比例的全部参数。arXiv
MHA、MQA 与 GQA
MHA、MQA 与 GQA 的核心区别是查询头如何共享键头和值头:MHA 基本上一一对应,MQA 让全部查询头共享一组 K/V,GQA 则让若干查询头分组共享 K/V;查模型结构时,这一区别主要用于判断 KV Cache 规模以及生成阶段的内存带宽压力。
三种组织方式
| 方式 | 查询头 Q | 键值头 K/V | 典型关系 |
|---|---|---|---|
| MHA | 多个 | 多个 | 通常每个 Q 头对应自己的 K/V 头 |
| MQA | 多个 | 1 组 | 所有 Q 头共享同一组 K/V |
| GQA | 多个 | 多组 | 每组若干 Q 头共享一组 K/V |
从这个定义看,MQA 可以视为只有一个 KV 组的极端共享形式;当 KV 头数量与查询头数量一致时,GQA 的组织方式退化为通常意义上的 MHA。

成立边界
这里讨论的是注意力层内部 Q、K、V 头的组织方式,而不是整个模型的参数共享方式。减少 KV 头会直接减少 K/V 投影及自回归推断时需要保存的 KV Cache,但查询投影、前馈网络、词嵌入和其他层并不会按相同比例缩小。
因此,看到“KV 头减少 8 倍”时,不能直接推断“模型参数减少 8 倍”或“推理速度提高 8 倍”。实际收益还受批大小、序列长度、硬件带宽、内核实现和模型维度影响。
最小例子
假设一个注意力层有 8 个查询头。MHA 可以使用 8 个 KV 头;MQA 使用 1 个 KV 头供 8 个查询头共享;GQA 若使用 2 个 KV 头,则可把 8 个查询头分成两组,每组 4 个查询头共享一组 K/V。
这个例子只说明头的共享关系。若比较真实模型,还应同时核对查询头数、KV 头数、每头维度和上下文长度。
常见误解
常见误解是把 MQA 或 GQA 理解成“减少注意力头”。它们通常仍保留多个查询头,变化的是 K/V 头的数量及共享方式。另一个误解是只凭结构名称判断模型一定更快;结构降低的是特定内存与计算负担,最终吞吐和延迟仍取决于具体实现。
通过对查询和键施加位置相关旋转表达序列位置信息;用于理解模型的位置机制,使用旋转编码并不自动保证训练长度之外的生成质量。arXiv
旋转位置编码(RoPE)
旋转位置编码(RoPE)是一种把位置信息施加到注意力查询 Q 和键 K 上的方法:不同位置对应不同角度的旋转,使 Q 与 K 的内积在比较内容相关性的同时携带位置关系。读模型结构时,可用它判断位置信息是在注意力计算前如何注入的。
成立边界
RoPE 通常把向量维度按二维子空间成对处理,并依据 token 位置施加不同旋转。它不需要像绝对位置嵌入那样为每个位置单独保存一条可学习向量;旋转后的 Q、K 在做点积时能够体现两者的位置差。
RoPE 描述的是位置编码机制,不是上下文窗口能力本身。模型采用 RoPE,并不意味着它在超过训练时所见长度后仍能保持相同生成质量;实际长上下文能力还与训练长度、频率设置、缩放方案及后续训练方式有关。

与绝对位置嵌入的区别
| 机制 | 位置信息如何加入 | 需要注意的边界 |
|---|---|---|
| 绝对位置嵌入 | 通常把位置向量与 token 表示相加或组合 | 位置表示直接对应具体位置 |
| RoPE | 对 Q、K 按位置执行旋转后再参与注意力计算 | 相对位置关系自然进入 Q/K 点积,但不自动解决长度外推 |
两者都用于让模型区分序列位置,但实现位置关系的方式不同,不能仅凭“是否可学习”或“是否支持长上下文”简单二分。
最小例子
可以把某一对向量维度想成平面上的箭头:位置 1 将箭头旋转一个角度,位置 5 将它旋转另一个角度。注意力比较这两个旋转后的 Q、K 时,它们之间的角度关系会受到位置差 4 的影响。这只是帮助理解的二维直觉;真实模型会在多组成对维度上使用不同旋转频率。
常见误解
最常见的误解是“用了 RoPE 就能无限扩展上下文”。RoPE 提供位置表示方式,但训练分布之外的长度可能出现性能下降。看到模型宣称更长上下文时,应进一步核对其训练方案、RoPE 缩放或频率调整方式以及实际长序列评测,而不是只看是否采用 RoPE。