大模型应用开发 / 系统课时
使用思考模型
使用思考模型
学习目标
完成本课后,你将能够:
- 识别支持 thinking 的模型与调用方式
- 区分思考内容和最终回答
- 通过 CLI 和 API 开启、关闭或隐藏思考
- 制定思考内容的展示、日志和隐私策略
思考模型返回什么
支持 thinking 的模型可以在最终回答之外返回独立思考内容。原生聊天响应中通常通过 message.thinking 与 message.content 分开。
思考内容适合调试和观察推理过程,但不保证每一步都正确,也不应被当作可审计的事实依据。
CLI 控制
开启单次思考:
bash
ollama run deepseek-r1 --think "比较本地部署与云端调用的三个取舍。"预期输出结构:
text
<THINKING_OUTPUT>
<FINAL_ANSWER>关闭:
bash
ollama run deepseek-r1 --think=false "用一句话总结 Ollama。"预期输出:
text
<FINAL_ANSWER>隐藏思考但仍使用思考模型:
bash
ollama run deepseek-r1 --hidethinking "9.9 和 9.11 哪个更大?"预期输出:
text
<FINAL_ANSWER>模型与选项支持情况应以当前 ollama run --help 和模型说明为准。
API 请求
执行:
bash
curl --fail --silent --show-error http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{
"model": "deepseek-r1",
"messages": [
{
"role": "user",
"content": "给出一个两步排查模型响应慢的方法。"
}
],
"think": true,
"stream": false
}'预期响应结构:
json
{
"message": {
"role": "assistant",
"thinking": "<THINKING_OUTPUT>",
"content": "<FINAL_ANSWER>"
},
"done": true
}只有支持 thinking 的模型才会按预期提供该字段。
Python 分离展示
保存为 thinking.py:
python
from ollama import chat
response = chat(
model="deepseek-r1",
messages=[
{
"role": "user",
"content": "分析模型加载慢的三个可能原因。",
}
],
think=True,
)
message = response["message"]
thinking = message.get("thinking", "").strip()
content = message.get("content", "").strip()
print("=== thinking ===")
print(thinking or "<EMPTY>")
print("=== answer ===")
print(content or "<EMPTY>")运行:
bash
python thinking.py预期输出结构:
text
=== thinking ===
<THINKING_OUTPUT>
=== answer ===
<FINAL_ANSWER>流式思考
流式响应中,thinking、工具调用和最终内容可能在不同数据块出现。客户端应按字段分别累积,不能把所有文本混在一起。
若工具调用需要把模型消息回传下一轮,应保留官方响应中的消息结构,避免丢失思考或工具状态。
展示策略
常见策略:
| 场景 | 建议 |
|---|---|
| 普通终端用户 | 默认只显示最终回答 |
| 开发调试 | 可折叠显示思考摘要 |
| 高风险业务 | 不把思考当作决策依据 |
| 日志 | 默认不记录完整思考 |
| 工具 Agent | 保留协议所需字段,限制外显 |
| 数据敏感场景 | 评估思考是否复述敏感输入 |
隐藏思考是界面策略,不代表模型没有进行内部推理。
成本与性能
思考模型通常会产生更多 Token 和更高延迟。简单任务可以关闭 thinking 或选择普通模型。评估时分别记录:
- 思考 Token 或内容长度
- 最终回答长度
- 首字延迟
- 总耗时
- 最终正确率
- 开启与关闭的差异
只有质量收益超过延迟和资源成本时,才应在业务中默认开启。
本课练习
练习 1:比较开启与关闭
任务目标:评估 thinking 的收益。输入或初始条件:同一思考模型和固定问题。实现要求:分别调用两种模式并记录正确率与耗时。验收条件:结论基于多条测试。
练习 2:实现双区域展示
任务目标:分离思考和答案。输入或初始条件:API 返回两个字段。实现要求:界面默认折叠思考,只显示答案
验收条件:字段不会混入同一 Markdown 文本。
练习 3:制定日志策略
任务目标:控制敏感信息。输入或初始条件:业务输入可能包含内部文档。实现要求:定义思考内容的记录、脱敏和保留期限。验收条件:默认日志不保存完整敏感思考。
按自己的节奏,确认真正理解。