大模型应用开发 / 系统课时
测试与部署上线
测试与部署上线
本课为项目补充基本测试,并将应用通过 FastAPI 封装接口后完成部署上线,验收整个项目是否可以对外提供服务。
学习目标
- 能够为核心逻辑编写基本的自动化测试
- 掌握使用 FastAPI 暴露问答接口的方式
- 完成本地部署并验证接口可正常访问
编写测试
安装 fastapi、uvicorn、httpx 和 pytest,将下面内容保存为 test_agent.py。它依赖后面同目录的 main.py;使用固定 Agent 测试响应,不发起付费模型请求。
from fastapi.testclient import TestClient
from langchain_core.messages import AIMessage
from main import build_app
class StubAgent:
def invoke(self, payload):
question = payload["messages"][0]["content"]
answer = "已发货" if "A1001" in question else "演示政策:7天无理由退换货"
return {"messages": [AIMessage(content=answer)]}
# 离线测试HTTP适配契约,不将固定回答当成真实Agent能力测试。
client = TestClient(build_app(StubAgent()))
def test_order_query():
response = client.post("/ask", json={"question": "订单 A1001 发货了吗?"})
assert response.status_code == 200
assert response.json() == {"answer": "已发货"}
def test_knowledge_query():
response = client.post("/ask", json={"question": "退换货政策是什么?"})
assert response.status_code == 200
assert "退换货" in response.json()["answer"]
def test_blank_rejected():
assert client.post("/ask", json={"question": " "}).status_code == 422预期结果:定义三个测试,分别检查订单响应、政策响应和空白输入拒绝;实际运行命令如下。
pytest test_agent.py -v预期输出:
test_agent.py::test_order_query PASSED
test_agent.py::test_knowledge_query PASSED
test_agent.py::test_blank_rejected PASSED封装接口并部署
在 main.py 中用 FastAPI 暴露一个问答接口:
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel, Field, field_validator
class Query(BaseModel):
question: str = Field(min_length=1, max_length=2000)
@field_validator("question")
@classmethod
def nonblank(cls, value):
value = value.strip()
if not value:
raise ValueError("question不能为空")
return value
def build_app(agent):
app = FastAPI()
@app.post("/ask")
def ask(query: Query):
# 同步端点由框架在线程池执行;生产还需限制并发与总请求预算。
try:
result = agent.invoke({"messages": [{"role": "user", "content": query.question}]})
answer = result["messages"][-1].text
if not answer:
raise ValueError("empty answer")
return {"answer": answer}
except Exception as exc:
# 不把上游错误正文、凭据或文档内容返回给调用者。
raise HTTPException(status_code=502, detail="assistant unavailable") from exc
return app
def create_app():
from agent import agent
return build_app(agent)预期结果:导入 main.py 不立即连接模型或构建知识库;测试传入 StubAgent,服务启动时由 create_app 加载真实 Agent。
启动服务:
python -m uvicorn main:create_app --factory --host 127.0.0.1 --port 8000预期结果:服务监听本机 8000 端口,日志显示启动完成;端口被占用时改用一个空闲端口,并同步修改请求地址。真实模式需要同目录的 rag.py、agent.py 及模型环境变量。
验收
使用 curl 发送请求验证接口是否正常工作:
curl -X POST http://127.0.0.1:8000/ask \
-H "Content-Type: application/json" \
-d '{"question": "退换货政策是什么?"}'预期响应:HTTP 200,JSON 包含非空 answer。以下是示例措辞,真实模型可能不同:
{"answer": "根据知识库,本产品支持 7 天无理由退换货。"}测试全部通过且接口能正确返回答案,即说明项目已完成验收,可以进一步部署到正式服务器或容器环境中。
关键边界
本地监听仅用于开发验收。正式服务应配置认证、每用户权限、TLS 入口、限流与请求预算;不要把能回答演示问题等同于完成生产验收。上游异常统一返回 502,服务日志保留请求 ID 与异常类别,并脱敏处理。
离线测试只证明接口接收、字段校验与响应适配正确。知识库工具测试还要覆盖空检索、来源与权限,订单工具覆盖未知订单与越权,Agent 集成测试检查实际工具调用轨迹。真实模型的评测使用允许外发的固定资料,分别检查事实、来源和拒答,不比较整句自然语言是否完全相等。
上线前固定依赖并在干净环境安装,显式配置持久化知识库路径,避免工作目录变化创建空集合。多实例会话状态不能只放进程内字典。为认证失败、空问题、超长输入、模型超时和并发过载分别规定响应;本例只完整演示本地接口边界,不包含生产身份系统。
发布后先进行小流量验证,观察延迟、失败率、每请求工具次数和模型用量。异常时回退到上一版应用与兼容索引,不能只回滚代码而保留不兼容嵌入向量。测试、配置和索引版本共同构成可回退的发布单元。