大模型应用开发 / 系统课时
完成项目验收与复盘
完成项目验收与复盘
本篇介绍 RAG 知识库项目上线前的验收方法,通过功能测试、效果评测、安全检查和部署确认,形成可持续优化的项目交付闭环。
学习目标
- 掌握 RAG 项目的上线验收流程
- 学会使用评测集验证系统效果
- 了解项目复盘中需要关注的优化方向
制定验收范围
项目验收需要覆盖功能正确性、检索效果、回答质量、安全策略和运行稳定性。验收目标不是证明系统永远正确,而是确认关键风险已经被发现和控制。
执行功能与接口测试
首先验证文档导入、索引生成、检索接口、问答接口和引用返回是否符合设计要求。测试时应准备覆盖正常流程和异常流程的用例。
bash
curl -X POST http://localhost:<PORT>/api/rag/query \
-H "Content-Type: application/json" \
-d '{"question":"如何发布服务"}'预期输出
json
{"answer":"返回发布流程说明","sources":["deploy-guide.md"]}接口测试通过后,还需要验证错误请求是否返回明确提示,避免异常输入影响系统稳定性。
使用评测集验证效果
RAG 效果评测应使用固定问题集,而不是只依赖人工随机测试。评测集通常包含知识覆盖、召回准确性、引用完整性和回答一致性等指标。
可以记录每次版本变更后的评测结果,观察优化措施是否真正改善效果。
完成安全与部署检查
上线前需要确认权限控制、敏感信息过滤、密钥管理、日志脱敏和服务监控配置。部署检查重点关注实例状态、依赖服务连接以及资源使用情况。
yaml
service:
replicas: 3
healthCheck:
enabled: true预期结果
text
服务实例数量符合配置,健康检查持续通过。进行项目复盘
项目复盘应整理已解决问题、遗留风险和后续计划。重点分析哪些问题来自数据质量,哪些问题来自检索策略,哪些问题需要模型或架构调整。复盘文档至少应包含:
- 项目目标与实际达成情况
- 关键指标变化记录
- 后续优化优先级
本课总结
- 完整验收需要同时覆盖功能、效果、安全和部署四个方面。
- 固定评测集能够帮助团队量化 RAG 优化结果。
- 项目复盘用于沉淀经验并指导后续迭代。
下一课预告
本章节内容完成后,后续可以继续围绕生产环境性能优化、成本控制和智能化运维进行深入实践。
按自己的节奏,确认真正理解。