大模型应用开发 / 系统课时

选择嵌入模型

选择嵌入模型

本课解决 RAG 系统中如何选择合适嵌入模型的问题。你将从中文效果、上下文长度、向量维度、成本和部署方式几个维度评估模型,最终建立适合业务场景的选型方法。

学习目标

  • 理解嵌入模型影响检索质量的关键因素。
  • 掌握商业 API 与本地部署模型的选择方法。
  • 学会通过实验验证模型是否适合知识库场景。

嵌入模型在 RAG 中的作用

嵌入模型负责把文本转换为向量表示,使知识库中的文档和用户问题可以通过向量相似度进行匹配。模型选择会直接影响召回准确率、响应速度和运行成本。

不同模型生成的向量空间并不通用,文档向量和查询向量必须由兼容的模型生成,否则相似度计算没有实际意义。

选择模型时关注的核心指标

中文知识库通常优先关注语义理解能力。英文模型可能在英文检索中表现很好,但面对中文同义表达、专业术语和长文本时可能出现召回下降。

上下文长度决定一次可以编码多少文本。对于长文档场景,需要结合合理切片策略,而不是单纯依赖更长上下文窗口。

向量维度影响存储空间和检索计算量。维度越高通常能表达更多信息,但也会增加索引体积和查询成本。常见评估维度如下:

指标 影响
中文能力 决定中文语义匹配效果
向量维度 影响存储和检索性能
上下文长度 影响单次文本处理范围
调用成本 影响长期运行费用
部署方式 影响数据安全和运维复杂度

商业模型与本地模型选择

商业 API 模型通常具有较好的开箱效果,适合快速验证产品。企业需要关注调用费用、数据传输要求和服务稳定性。

本地部署模型可以控制数据流向,适合敏感知识库或高调用量场景,但需要准备 GPU 资源,并承担模型服务维护成本。一个简单的模型配置示例如下:

yaml
embedding:
  provider: local
  model: text-embedding-model
  dimension: 1024

该配置表示系统使用本地嵌入模型,并约定生成 1024 维向量。实际维度必须与向量数据库集合配置保持一致。预期结果

text
embedding provider=local
model=text-embedding-model
dimension=1024

模型验证方法

不要只根据排行榜选择模型,应使用真实业务数据测试。可以准备一组典型问题,比较不同模型的召回结果和人工评分。

验证时重点观察:查询是否找到正确文档、相似但错误的内容是否被过滤、专业词汇是否能够匹配。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择嵌入模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通