大模型应用开发 / 系统课时

实现流式答案输出

实现流式答案输出

本篇解决 RAG 应用等待完整回答后才能展示的问题,通过流式返回模型生成内容,让用户更快看到响应,同时在生成结束后补充引用和统计信息。

学习目标

  • 理解流式生成与普通生成的区别。
  • 掌握逐步返回模型响应的实现方式。
  • 了解流式结束后的引用补充流程。

流式输出的工作方式

普通生成需要模型完成全部推理后一次返回结果,而流式输出会持续产生文本片段。用户可以立即看到答案开头,降低等待感。

在 RAG 场景中,检索结果通常在生成前已经确定,因此系统可以先建立上下文,再逐步发送模型生成内容。

实现基础流式响应

后端通常通过生成器或异步迭代器读取模型返回片段,再转换为前端可以消费的数据流。下面示例使用 Python 模拟模型逐步返回内容。

python
import time

def stream_answer():
    parts = ["RAG", " 系统", " 正在", "生成答案"]
    for part in parts:
        yield part
        time.sleep(0.1)

for chunk in stream_answer():
    print(chunk, end="")

预期输出

text
RAG 系统 正在 生成答案

在生成结束后补充引用

流式输出适合展示正文内容,但引用信息通常需要等待最终结果确定后再返回。例如系统可以在结束事件中附加检索文档 ID、来源名称和命中片段。

推荐把生成事件和结束事件区分处理,避免用户把中间文本误认为完整响应。

设计流式接口结构

一个简单的流式接口可以包含文本事件、完成事件和错误事件。

json
{"type":"token","content":"答案片段"}
{"type":"citation","documents":["doc-001"]}
{"type":"done","usage":{"tokens":120}}

预期结果

text
客户端先展示 token 内容,完成后显示引用和统计信息。

常见实现边界

流式输出需要处理网络中断、模型异常和客户端取消请求。服务端应及时释放资源,并记录最终状态,避免长连接占用过多资源。

引用信息也需要保持和答案一致,不能因为流式传输过程中的截断导致引用缺失。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现流式答案输出

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通