大模型应用开发 / 系统课时

批量写入知识片段

批量写入知识片段

本课介绍 RAG 知识库中批量写入知识片段的完整流程,包括调用嵌入模型生成向量、组织数据结构、批量写入向量数据库以及处理失败重试。

学习目标

  • 掌握知识片段批量向量化与写入流程。
  • 理解向量、正文和元数据的关联方式。
  • 能够设计稳定的批量写入和失败恢复机制。

设计批量写入流程

批量写入不是简单保存文本,而是需要经过切片、嵌入、组装和持久化多个阶段。每条数据通常包含唯一 ID、向量内容、原始文本以及业务元数据。典型数据结构如下:

text
知识片段
 ├── id
 ├── vector
 ├── text
 └── metadata

在生产环境中,应避免一次提交过大的批次。批次大小需要根据嵌入模型接口限制、网络情况和数据库写入能力调整。

调用嵌入模型并写入向量库

下面示例展示一个简化的 Python 写入流程。实际项目中,embed_texts 应替换为具体嵌入服务调用。

python
import time

def embed_texts(texts):
    # 实际项目中替换为 Embedding API 调用
    return [[0.1, 0.2, 0.3] for _ in texts]

def write_vectors(points):
    # 实际项目中替换为向量数据库批量写入接口
    return True

texts = ["RAG 使用向量检索增强生成", "嵌入模型负责文本向量化"]
vectors = embed_texts(texts)

points = [
    {
        "id": index,
        "vector": vector,
        "payload": {"text": text}
    }
    for index, (text, vector) in enumerate(zip(texts, vectors), start=1)
]

write_vectors(points)

预期结果

text
向量生成完成
批量写入请求发送成功

实际系统中,写入前需要校验向量维度,避免由于模型升级或配置错误导致批量失败。

处理批量失败与重试

批量写入可能因为网络异常、数据库压力或单条数据错误失败。可靠方案通常采用分批提交、错误记录和有限重试。

python
import time

def retry_write(batch, max_retry=3):
    for attempt in range(max_retry):
        try:
            write_vectors(batch)
            return True
        except Exception:
            if attempt == max_retry - 1:
                raise
            time.sleep(2 ** attempt)

retry_write([])

预期结果

text
批次写入成功

指数退避可以降低数据库故障期间的持续压力。对于无法恢复的数据,应记录失败批次,方便后续人工检查或重新处理。

验证写入结果

写入完成后,需要随机抽查向量数量、正文内容和元数据关联关系。验证不仅关注是否成功写入,还要确认检索结果能够返回正确上下文。常见检查包括:

  • 向量数量是否与成功处理片段数量一致。
  • 文本字段是否完整保存。
  • 元数据过滤是否可用。
  • 查询相似内容是否返回预期片段。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

批量写入知识片段

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通