大模型应用开发 / 系统课时

使用思考模型

使用思考模型

学习目标

完成本课后,你将能够:

  • 识别支持 thinking 的模型与调用方式
  • 区分思考内容和最终回答
  • 通过 CLI 和 API 开启、关闭或隐藏思考
  • 制定思考内容的展示、日志和隐私策略

思考模型返回什么

支持 thinking 的模型可以在最终回答之外返回独立思考内容。原生聊天响应中通常通过 message.thinking 与 message.content 分开。

思考内容适合调试和观察推理过程,但不保证每一步都正确,也不应被当作可审计的事实依据。

CLI 控制

开启单次思考:

bash
ollama run deepseek-r1 --think "比较本地部署与云端调用的三个取舍。"

预期输出结构:

text
<THINKING_OUTPUT>
<FINAL_ANSWER>

关闭:

bash
ollama run deepseek-r1 --think=false "用一句话总结 Ollama。"

预期输出:

text
<FINAL_ANSWER>

隐藏思考但仍使用思考模型:

bash
ollama run deepseek-r1 --hidethinking "9.9 和 9.11 哪个更大?"

预期输出:

text
<FINAL_ANSWER>

模型与选项支持情况应以当前 ollama run --help 和模型说明为准。

API 请求

执行:

bash
curl --fail --silent --show-error http://localhost:11434/api/chat   -H "Content-Type: application/json"   -d '{
    "model": "deepseek-r1",
    "messages": [
      {
        "role": "user",
        "content": "给出一个两步排查模型响应慢的方法。"
      }
    ],
    "think": true,
    "stream": false
  }'

预期响应结构:

json
{
  "message": {
    "role": "assistant",
    "thinking": "<THINKING_OUTPUT>",
    "content": "<FINAL_ANSWER>"
  },
  "done": true
}

只有支持 thinking 的模型才会按预期提供该字段。

Python 分离展示

保存为 thinking.py:

python
from ollama import chat

response = chat(
    model="deepseek-r1",
    messages=[
        {
            "role": "user",
            "content": "分析模型加载慢的三个可能原因。",
        }
    ],
    think=True,
)

message = response["message"]
thinking = message.get("thinking", "").strip()
content = message.get("content", "").strip()

print("=== thinking ===")
print(thinking or "<EMPTY>")
print("=== answer ===")
print(content or "<EMPTY>")

运行:

bash
python thinking.py

预期输出结构:

text
=== thinking ===
<THINKING_OUTPUT>
=== answer ===
<FINAL_ANSWER>

流式思考

流式响应中,thinking、工具调用和最终内容可能在不同数据块出现。客户端应按字段分别累积,不能把所有文本混在一起。

若工具调用需要把模型消息回传下一轮,应保留官方响应中的消息结构,避免丢失思考或工具状态。

展示策略

常见策略:

场景 建议
普通终端用户 默认只显示最终回答
开发调试 可折叠显示思考摘要
高风险业务 不把思考当作决策依据
日志 默认不记录完整思考
工具 Agent 保留协议所需字段,限制外显
数据敏感场景 评估思考是否复述敏感输入

隐藏思考是界面策略,不代表模型没有进行内部推理。

成本与性能

思考模型通常会产生更多 Token 和更高延迟。简单任务可以关闭 thinking 或选择普通模型。评估时分别记录:

  • 思考 Token 或内容长度
  • 最终回答长度
  • 首字延迟
  • 总耗时
  • 最终正确率
  • 开启与关闭的差异

只有质量收益超过延迟和资源成本时,才应在业务中默认开启。

本课练习

练习 1:比较开启与关闭

任务目标:评估 thinking 的收益。输入或初始条件:同一思考模型和固定问题。实现要求:分别调用两种模式并记录正确率与耗时。验收条件:结论基于多条测试。

练习 2:实现双区域展示

任务目标:分离思考和答案。输入或初始条件:API 返回两个字段。实现要求:界面默认折叠思考,只显示答案

验收条件:字段不会混入同一 Markdown 文本。

练习 3:制定日志策略

任务目标:控制敏感信息。输入或初始条件:业务输入可能包含内部文档。实现要求:定义思考内容的记录、脱敏和保留期限。验收条件:默认日志不保存完整敏感思考。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用思考模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通