大模型原理与训练 / 技术文章
大语言模型是如何理解和生成文本的
这篇文章解决“模型究竟怎样读懂一句话并写出下一句”的问题,适合刚接触大语言模型的开发者、产品人员和技术学习者。读完后,你将能用一条清晰链路解释文本如何被切分、计算、预测并生成。
文本先被转换成模型能处理的数字
大语言模型不能直接处理文字。输入内容会先经过分词器,被拆成一串 token。token 可能是一个汉字、一个词的一部分、标点,或常见字符组合,因此“生成一个词”更准确地说是“生成一个 token”。
每个 token 都会映射成一个向量,也就是一组数字。向量本身不是词典定义,而是模型在训练中学到的表示。同类用法、相近语义或经常出现在相似上下文中的 token,通常会形成较接近的表示。
模型还需要知道 token 的顺序。因为“猫追狗”和“狗追猫”使用了相同词语,却表达不同关系,所以系统会把位置信息加入 token 向量,使后续计算同时看到“内容是什么”和“出现在什么位置”。
Transformer 如何建立上下文关系
完成向量化后,数据会进入多层 Transformer。每一层都会重新计算各 token 与上下文中其他 token 的关系,并逐步形成更适合当前任务的表示。
其中最关键的是自注意力机制。它会为当前位置寻找相关信息。例如处理“苹果发布了新手机,它搭载了新芯片”时,模型需要判断“它”更可能指向“新手机”,而不是“苹果”这个词本身。注意力不是固定规则,而是根据当前输入动态计算权重。
一层注意力只能完成一次关系整合。经过多层堆叠后,模型可以逐渐组合词法、句法、指代、主题和任务意图等信息。前层可能识别局部搭配,后层则更容易形成整句乃至整段的综合表示。

模型所谓的“理解”是什么
大语言模型的“理解”与人类理解并不完全相同。它没有通过身体经验观察世界,也不一定拥有稳定的事实信念。它更像是在高维参数中学会了语言、知识和任务之间的大量统计关系。
当模型能够正确解释句子、完成推理或迁移到新问题时,说明它已经形成了有用的内部表示。但这些表示主要服务于预测任务,并不等于模型对每句话都具有人类式意识、意图或真实体验。
因此,判断模型是否“理解”,更实用的标准不是讨论它是否像人一样思考,而是检查它能否在给定上下文中保持概念一致、利用相关信息、遵守约束,并输出可验证的结果。
文本是怎样一步步生成的
模型不会一次写出整段回答。它先读取已有上下文,计算下一个 token 的概率分布,即 。概率较高的 token 更符合当前语境,但不一定总被直接选中。
生成策略决定模型如何从概率分布中取值。贪心选择每次取最高概率,结果稳定但容易单调;适度采样会保留多个候选,使表达更自然;温度越高,概率分布越平缓,输出通常越多样,也越容易偏离事实。
选出一个 token 后,模型把它追加到上下文,再重新预测下一个 token。这个循环会持续到遇到结束标记、达到长度限制,或满足停止条件。所谓“流式输出”,只是把已经生成的 token 持续发送给用户,并不代表后面的整段内容早已写好。
能力来自训练,而不是临时查词
预训练阶段会让模型阅读大量文本,并反复执行“根据前文预测后续 token”的任务。每次预测出现偏差,训练算法都会调整参数,使下一次预测更接近正确答案。经过海量样本后,模型逐渐学会语言结构、常见知识、表达风格和部分推理模式。
完成预训练后,模型通常还会接受指令微调,让它学会按照问题形式回答,而不是只续写文本。随后还可能通过人类反馈或其他偏好优化方法,提升帮助性、安全性和格式遵循能力。
用户发出一次请求时,模型一般不会现场修改这些核心参数。它主要依靠已经训练好的参数,加上当前对话提供的上下文进行推断。因此,提示词能够改变本次回答的方向,却不会自动让模型永久学会新知识。
为什么模型会产生看似合理的错误
模型的直接目标是生成在上下文中最合适的后续 token,而不是保证每句话都经过事实数据库验证。当训练数据存在缺口、问题超出上下文、提示含糊,或采样引入偏差时,模型可能组合出语言流畅但事实错误的内容。
常见风险主要有三类:
- 事实幻觉:补出不存在的人名、日期、来源或接口。
- 上下文误判:忽略限制条件,或把代词、时间和对象对应错误。
- 推理漂移:前几步看似合理,后续却在未验证的假设上继续展开。
因此,涉及医疗、法律、财务、生产系统和最新信息时,应要求模型给出依据,并使用权威来源、工具调用、检索系统或程序测试进行验证。模型更适合提供候选答案、结构化思路和语言表达,而不是充当永远正确的事实终点。
用一条链路记住整个过程
可以把完整过程压缩为七步:文本进入分词器,token 转成向量,位置信息加入向量,多层 Transformer 建立上下文关系,输出下一个 token 的概率分布,生成策略选出 token,再把结果追加到上下文继续循环。
理解这条链路后,就能解释许多常见现象:上下文过长会增加计算和信息筛选难度;温度会影响随机性;提示词通过改变上下文来影响概率分布;幻觉则来自“语言上合理”与“事实上正确”并不是同一个目标。