大模型应用开发 / 系统课时
选择嵌入模型
选择嵌入模型
嵌入模型决定文本如何被映射为向量,也会直接影响检索质量、索引体积和调用成本。本课给出一套可执行的选择方法:先按硬性条件筛选,再用自己的文档与问题做小规模评测,最后确定可长期维护的模型版本。
学习目标
- 能从语言、维度、输入长度、成本和领域效果五个方面比较模型
- 能用最小评测集验证模型是否适合当前知识库
- 能识别更换模型和混用向量时的关键风险
先按硬性条件筛选
选择嵌入模型时,先排除不满足业务边界的候选项,再比较效果。语言支持决定模型能否稳定理解中文、英文或混合文本;最大输入长度必须覆盖切分后的最长文本块;部署方式则决定数据是否需要离开本地环境。
| 维度 | 需要确认的问题 | 常见风险 |
|---|---|---|
| 语言支持 | 是否覆盖知识库和用户查询所用语言 | 中文文档可编码,但语义排序不稳定 |
| 向量维度 | 单条向量占用多少存储与内存 | 维度越高,索引体积和计算量通常越大 |
| 输入长度 | 最长文本块是否会被截断 | 文档尾部的重要信息没有进入向量 |
| 运行成本 | 单价、吞吐、延迟和硬件需求是否可接受 | 离线建库快,但在线查询延迟过高 |
| 领域效果 | 在本业务问题上能否排出正确文档 | 通用榜单成绩高,专业术语召回仍然差 |
同一索引中的文档向量和查询向量必须由同一模型、同一版本和同一预处理流程生成。只要其中一项变化,原有向量空间就可能失去可比性。
用最小样本验证效果
不要只看公开榜单。准备十到五十条真实问题,并为每条问题标注一个或多个正确文档。先比较候选模型能否把正确文档排到前几名,再记录编码耗时、维度和最大输入长度。
下面的完整示例使用 sentence-transformers 加载一个多语言模型,并比较相关文本与无关文本的余弦相似度。运行前需要已安装对应依赖,首次执行会下载模型文件。
from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim
def main() -> None:
model_name = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
model = SentenceTransformer(model_name)
query = "忘记密码后怎样修改登录密码"
positive = "用户可以在登录页点击忘记密码并完成身份验证"
negative = "机房交换机需要配置生成树协议"
vectors = model.encode(
[query, positive, negative],
normalize_embeddings=True,
)
relevant_score = float(cos_sim(vectors[0], vectors[1]))
irrelevant_score = float(cos_sim(vectors[0], vectors[2]))
print(f"dimension={model.get_sentence_embedding_dimension()}")
print(f"max_seq_length={model.max_seq_length}")
print(f"relevant_score={relevant_score:.4f}")
print(f"irrelevant_score={irrelevant_score:.4f}")
print(f"ranking_ok={relevant_score > irrelevant_score}")
if __name__ == "__main__":
main()预期输出如下。相似度会因模型版本和运行环境略有不同,<SCORE> 代表实际数值。
dimension=384
max_seq_length=128
relevant_score=<SCORE>
irrelevant_score=<SCORE>
ranking_ok=True单条示例只能验证接口是否正常,不能替代正式评测。真正决策时,应统计 Recall@K、平均编码耗时和单位文档成本,并重点检查专业缩写、产品名、错误码和中英文混合查询。
在效果与成本之间取舍
向量维度不是越高越好。假设索引包含一百万条文档,维度从 384 增加到 1536,原始浮点向量的存储量会扩大约四倍,检索时的内存和计算压力也会同步增加。只有召回效果有明确提升时,这部分成本才值得承担。
输入长度也不应单独决定模型选择。RAG 通常会先切分文档,因此模型只需稳定覆盖文本块长度,而不是一次吞下整篇文档。若文本块经常超过模型上限,应先调整切分策略,而不是依赖自动截断。
最终可以采用“硬性条件通过、离线效果最好、在线成本可接受”的顺序做决策,并固定模型名称、版本、维度和预处理参数,作为索引元数据保存。
常见错误
最危险的错误是更换模型后继续复用旧索引。即使新旧模型输出维度相同,向量含义也不相同,必须重新生成全部文档向量。另一个常见问题是只用通用问答样本评测,忽略业务中的专有名词和长尾表达。
当多个模型效果接近时,优先选择延迟更低、版本更稳定、部署和监控更简单的方案。可维护性通常比微小的离线分数优势更重要。
本课总结
- 先用语言、输入长度、部署方式和成本筛掉不合格模型,再比较检索效果
- 模型选择必须基于真实问题与正确文档组成的评测集,而不是只看公开榜单
- 更换模型、版本或预处理流程后,应重新生成整个索引
下一课预告
下一课将把选定模型接入批处理流程,完成分批生成、并发限制、失败重试和结果缓存。