大模型应用开发 / 系统课时
模型能力与限制
模型能力与限制
使用大模型前,最重要的是同时知道它“擅长什么”和“不能保证什么”。模型可以生成、归纳、改写、解释并完成一定程度的推理,但它的回答仍然是基于当前输入生成的结果,可能出现幻觉、过时信息和不确定判断。
学习目标
- 区分生成、推理和上下文理解这三类常见能力
- 识别幻觉、时效性和不确定性带来的风险
- 为不同风险选择检索、工具、校验或人工确认等控制手段
能力强不等于结果天然可靠
大模型的核心优势是能从上下文中理解任务并生成符合语言模式的结果。它可以把零散材料整理成摘要,把自然语言转换成结构化内容,也能在给定条件下完成多步分析。
但“能给出看起来合理的答案”和“答案已经被事实验证”是两件事。模型并不会因为语气坚定就自动获得正确性;在信息不足时,它仍可能补全一个听起来连贯却并不存在的细节。
三类常见能力
生成能力适合改写、翻译、摘要、分类、提取字段、撰写说明等任务。这类任务主要依赖输入内容本身,通常较容易通过明确约束获得稳定结果。
推理能力适合比较方案、分解问题、根据条件进行判断或完成多步规划。它能处理复杂关系,但表现会受任务难度、输入质量和约束方式影响,不能默认每一步都正确。
上下文理解能力让模型可以结合当前对话、文档片段或程序传入的数据回答问题。它能利用本轮提供的信息,但不会自动知道未放进上下文的企业数据,也不保证掌握刚刚发生的外部事件。
三个最常见的限制
| 限制 | 典型表现 | 应对方式 |
|---|---|---|
| 幻觉 | 编造不存在的事实、来源、字段或结论 | 提供可信上下文,要求引用证据,对关键字段做程序校验 |
| 时效性 | 对最新价格、政策、库存、新闻等信息回答过时 | 接入实时检索、数据库或业务 API |
| 不确定性 | 同一问题多次回答存在差异,复杂判断偶尔失准 | 限定输出格式,增加校验规则,高风险步骤加入人工确认 |
除了这三类问题,还要注意上下文容量并非无限。把大量无关历史全部塞给模型,可能提高成本并稀释关键信息,因此上下文应优先保留与当前任务直接相关的内容。
把模型放在合适的位置
一个实用的判断方法是先问:这个任务的错误代价有多高?如果只是生成标题或润色文案,可以直接使用模型输出;如果涉及金额、权限、医疗、法律、生产变更等高风险事项,就不应把模型输出直接当成最终事实或执行指令。
可靠的大模型应用通常会把职责拆开:模型负责理解和生成,检索系统提供可追溯资料,工具返回实时事实,程序规则检查格式和约束,人工负责关键确认。这样做不是削弱模型能力,而是把概率性的生成能力放进一个可验证的系统。
判断模型是否适合某个任务时,不要只问“它会不会做”,还要问“做错了能不能发现、能不能纠正、能不能阻止错误继续传播”。这三个问题决定了应用需要多少额外保护。