大模型应用开发 / 系统课时
实现流式答案输出
实现流式答案输出
本篇解决 RAG 应用等待完整回答后才能展示的问题,通过流式返回模型生成内容,让用户更快看到响应,同时在生成结束后补充引用和统计信息。
学习目标
- 理解流式生成与普通生成的区别。
- 掌握逐步返回模型响应的实现方式。
- 了解流式结束后的引用补充流程。
流式输出的工作方式
普通生成需要模型完成全部推理后一次返回结果,而流式输出会持续产生文本片段。用户可以立即看到答案开头,降低等待感。
在 RAG 场景中,检索结果通常在生成前已经确定,因此系统可以先建立上下文,再逐步发送模型生成内容。
实现基础流式响应
后端通常通过生成器或异步迭代器读取模型返回片段,再转换为前端可以消费的数据流。下面示例使用 Python 模拟模型逐步返回内容。
python
import time
def stream_answer():
parts = ["RAG", " 系统", " 正在", "生成答案"]
for part in parts:
yield part
time.sleep(0.1)
for chunk in stream_answer():
print(chunk, end="")预期输出
text
RAG 系统 正在 生成答案在生成结束后补充引用
流式输出适合展示正文内容,但引用信息通常需要等待最终结果确定后再返回。例如系统可以在结束事件中附加检索文档 ID、来源名称和命中片段。
推荐把生成事件和结束事件区分处理,避免用户把中间文本误认为完整响应。
设计流式接口结构
一个简单的流式接口可以包含文本事件、完成事件和错误事件。
json
{"type":"token","content":"答案片段"}
{"type":"citation","documents":["doc-001"]}
{"type":"done","usage":{"tokens":120}}预期结果
text
客户端先展示 token 内容,完成后显示引用和统计信息。常见实现边界
流式输出需要处理网络中断、模型异常和客户端取消请求。服务端应及时释放资源,并记录最终状态,避免长连接占用过多资源。
引用信息也需要保持和答案一致,不能因为流式传输过程中的截断导致引用缺失。
按自己的节奏,确认真正理解。