大模型原理与训练 / 知识点

大模型从选型到部署术语速查

准备提示并控制输出

结构化输出强调结果符合指定结构,约束解码在生成时限制合法候选;用于设计机器可消费的结果,格式合法仍不代表字段内容正确。vLLM

结构化输出与约束解码

结构化输出是让模型结果满足预先规定的数据结构;约束解码则是在生成过程中限制下一步可选内容,使结果更容易满足 JSON、JSON Schema、枚举或语法规则等约束。

成立边界

结构化输出首先解决的是格式可解析性,不是事实正确性。一个响应即使完全符合 Schema,字段值仍可能与业务事实不符,例如合法地输出了错误的订单状态、日期或分类结果。

约束解码通常只能约束可形式化表达的结构和取值范围。它可以阻止缺失括号、非法枚举值等输出,却不能自动证明自由文本字段中的事实真实,也不能替代业务层校验。

与提示词约束的区别

概念 约束发生的位置 主要作用
提示词约束 输入指令 告诉模型应该怎样输出,但模型仍可能违背要求
结构化输出 接口或应用层目标 要求最终结果符合指定结构
约束解码 词元生成阶段 排除当前状态下不合法的候选,使格式约束更强
业务校验 生成完成之后 检查字段值是否满足业务规则和真实世界约束

结构化输出描述的是结果目标,约束解码描述的是实现这一目标的一种生成机制,两者不是同义词。

最小例子

假设应用要求模型返回 {"priority":"high","reason":"..."},并规定 priority 只能是 low、medium 或 high。约束解码可以限制模型只能产生合法对象和允许的枚举值。

但即使模型合法输出 {"priority":"high","reason":"用户明确要求当天处理"},应用仍需判断原始输入是否真的包含这一事实。

接入知识并改善检索

划清智能体应用边界

读懂结构与生成原理

目录与阅读设置

记录一个想法

大模型从选型到部署术语速查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通