大模型应用开发 / 系统课时
选择嵌入模型
选择嵌入模型
本课解决 RAG 系统中如何选择合适嵌入模型的问题。你将从中文效果、上下文长度、向量维度、成本和部署方式几个维度评估模型,最终建立适合业务场景的选型方法。
学习目标
- 理解嵌入模型影响检索质量的关键因素。
- 掌握商业 API 与本地部署模型的选择方法。
- 学会通过实验验证模型是否适合知识库场景。
嵌入模型在 RAG 中的作用
嵌入模型负责把文本转换为向量表示,使知识库中的文档和用户问题可以通过向量相似度进行匹配。模型选择会直接影响召回准确率、响应速度和运行成本。
不同模型生成的向量空间并不通用,文档向量和查询向量必须由兼容的模型生成,否则相似度计算没有实际意义。
选择模型时关注的核心指标
中文知识库通常优先关注语义理解能力。英文模型可能在英文检索中表现很好,但面对中文同义表达、专业术语和长文本时可能出现召回下降。
上下文长度决定一次可以编码多少文本。对于长文档场景,需要结合合理切片策略,而不是单纯依赖更长上下文窗口。
向量维度影响存储空间和检索计算量。维度越高通常能表达更多信息,但也会增加索引体积和查询成本。常见评估维度如下:
| 指标 | 影响 |
|---|---|
| 中文能力 | 决定中文语义匹配效果 |
| 向量维度 | 影响存储和检索性能 |
| 上下文长度 | 影响单次文本处理范围 |
| 调用成本 | 影响长期运行费用 |
| 部署方式 | 影响数据安全和运维复杂度 |
商业模型与本地模型选择
商业 API 模型通常具有较好的开箱效果,适合快速验证产品。企业需要关注调用费用、数据传输要求和服务稳定性。
本地部署模型可以控制数据流向,适合敏感知识库或高调用量场景,但需要准备 GPU 资源,并承担模型服务维护成本。一个简单的模型配置示例如下:
yaml
embedding:
provider: local
model: text-embedding-model
dimension: 1024该配置表示系统使用本地嵌入模型,并约定生成 1024 维向量。实际维度必须与向量数据库集合配置保持一致。预期结果
text
embedding provider=local
model=text-embedding-model
dimension=1024模型验证方法
不要只根据排行榜选择模型,应使用真实业务数据测试。可以准备一组典型问题,比较不同模型的召回结果和人工评分。
验证时重点观察:查询是否找到正确文档、相似但错误的内容是否被过滤、专业词汇是否能够匹配。
按自己的节奏,确认真正理解。