大模型应用开发 / 系统课时

完成项目验收与复盘

完成项目验收与复盘

本篇介绍 RAG 知识库项目上线前的验收方法,通过功能测试、效果评测、安全检查和部署确认,形成可持续优化的项目交付闭环。

学习目标

  • 掌握 RAG 项目的上线验收流程
  • 学会使用评测集验证系统效果
  • 了解项目复盘中需要关注的优化方向

制定验收范围

项目验收需要覆盖功能正确性、检索效果、回答质量、安全策略和运行稳定性。验收目标不是证明系统永远正确,而是确认关键风险已经被发现和控制。

执行功能与接口测试

首先验证文档导入、索引生成、检索接口、问答接口和引用返回是否符合设计要求。测试时应准备覆盖正常流程和异常流程的用例。

bash
curl -X POST http://localhost:<PORT>/api/rag/query \
  -H "Content-Type: application/json" \
  -d '{"question":"如何发布服务"}'

预期输出

json
{"answer":"返回发布流程说明","sources":["deploy-guide.md"]}

接口测试通过后,还需要验证错误请求是否返回明确提示,避免异常输入影响系统稳定性。

使用评测集验证效果

RAG 效果评测应使用固定问题集,而不是只依赖人工随机测试。评测集通常包含知识覆盖、召回准确性、引用完整性和回答一致性等指标。

可以记录每次版本变更后的评测结果,观察优化措施是否真正改善效果。

完成安全与部署检查

上线前需要确认权限控制、敏感信息过滤、密钥管理、日志脱敏和服务监控配置。部署检查重点关注实例状态、依赖服务连接以及资源使用情况。

yaml
service:
  replicas: 3
  healthCheck:
    enabled: true

预期结果

text
服务实例数量符合配置,健康检查持续通过。

进行项目复盘

项目复盘应整理已解决问题、遗留风险和后续计划。重点分析哪些问题来自数据质量,哪些问题来自检索策略,哪些问题需要模型或架构调整。复盘文档至少应包含:

  • 项目目标与实际达成情况
  • 关键指标变化记录
  • 后续优化优先级

本课总结

  • 完整验收需要同时覆盖功能、效果、安全和部署四个方面。
  • 固定评测集能够帮助团队量化 RAG 优化结果。
  • 项目复盘用于沉淀经验并指导后续迭代。

下一课预告

本章节内容完成后,后续可以继续围绕生产环境性能优化、成本控制和智能化运维进行深入实践。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

完成项目验收与复盘

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通