大模型应用开发 / 系统课时

测试与部署上线

测试与部署上线

本课为项目补充基本测试,并将应用通过 FastAPI 封装接口后完成部署上线,验收整个项目是否可以对外提供服务。

学习目标

  • 能够为核心逻辑编写基本的自动化测试
  • 掌握使用 FastAPI 暴露问答接口的方式
  • 完成本地部署并验证接口可正常访问

编写测试

安装 fastapi、uvicorn、httpx 和 pytest,将下面内容保存为 test_agent.py。它依赖后面同目录的 main.py;使用固定 Agent 测试响应,不发起付费模型请求。

python
from fastapi.testclient import TestClient
from langchain_core.messages import AIMessage
from main import build_app

class StubAgent:
    def invoke(self, payload):
        question = payload["messages"][0]["content"]
        answer = "已发货" if "A1001" in question else "演示政策:7天无理由退换货"
        return {"messages": [AIMessage(content=answer)]}

# 离线测试HTTP适配契约,不将固定回答当成真实Agent能力测试。
client = TestClient(build_app(StubAgent()))
def test_order_query():
    response = client.post("/ask", json={"question": "订单 A1001 发货了吗?"})
    assert response.status_code == 200
    assert response.json() == {"answer": "已发货"}

def test_knowledge_query():
    response = client.post("/ask", json={"question": "退换货政策是什么?"})
    assert response.status_code == 200
    assert "退换货" in response.json()["answer"]

def test_blank_rejected():
    assert client.post("/ask", json={"question": "  "}).status_code == 422

预期结果:定义三个测试,分别检查订单响应、政策响应和空白输入拒绝;实际运行命令如下。

bash
pytest test_agent.py -v

预期输出:

text
test_agent.py::test_order_query PASSED
test_agent.py::test_knowledge_query PASSED
test_agent.py::test_blank_rejected PASSED

封装接口并部署

在 main.py 中用 FastAPI 暴露一个问答接口:

python
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel, Field, field_validator

class Query(BaseModel):
    question: str = Field(min_length=1, max_length=2000)
    @field_validator("question")
    @classmethod
    def nonblank(cls, value):
        value = value.strip()
        if not value:
            raise ValueError("question不能为空")
        return value

def build_app(agent):
    app = FastAPI()
    @app.post("/ask")
    def ask(query: Query):
        # 同步端点由框架在线程池执行;生产还需限制并发与总请求预算。
        try:
            result = agent.invoke({"messages": [{"role": "user", "content": query.question}]})
            answer = result["messages"][-1].text
            if not answer:
                raise ValueError("empty answer")
            return {"answer": answer}
        except Exception as exc:
            # 不把上游错误正文、凭据或文档内容返回给调用者。
            raise HTTPException(status_code=502, detail="assistant unavailable") from exc
    return app

def create_app():
    from agent import agent
    return build_app(agent)

预期结果:导入 main.py 不立即连接模型或构建知识库;测试传入 StubAgent,服务启动时由 create_app 加载真实 Agent。

启动服务:

bash
python -m uvicorn main:create_app --factory --host 127.0.0.1 --port 8000

预期结果:服务监听本机 8000 端口,日志显示启动完成;端口被占用时改用一个空闲端口,并同步修改请求地址。真实模式需要同目录的 rag.py、agent.py 及模型环境变量。

验收

使用 curl 发送请求验证接口是否正常工作:

bash
curl -X POST http://127.0.0.1:8000/ask \
  -H "Content-Type: application/json" \
  -d '{"question": "退换货政策是什么?"}'

预期响应:HTTP 200,JSON 包含非空 answer。以下是示例措辞,真实模型可能不同:

json
{"answer": "根据知识库,本产品支持 7 天无理由退换货。"}

测试全部通过且接口能正确返回答案,即说明项目已完成验收,可以进一步部署到正式服务器或容器环境中。

关键边界

本地监听仅用于开发验收。正式服务应配置认证、每用户权限、TLS 入口、限流与请求预算;不要把能回答演示问题等同于完成生产验收。上游异常统一返回 502,服务日志保留请求 ID 与异常类别,并脱敏处理。

离线测试只证明接口接收、字段校验与响应适配正确。知识库工具测试还要覆盖空检索、来源与权限,订单工具覆盖未知订单与越权,Agent 集成测试检查实际工具调用轨迹。真实模型的评测使用允许外发的固定资料,分别检查事实、来源和拒答,不比较整句自然语言是否完全相等。

上线前固定依赖并在干净环境安装,显式配置持久化知识库路径,避免工作目录变化创建空集合。多实例会话状态不能只放进程内字典。为认证失败、空问题、超长输入、模型超时和并发过载分别规定响应;本例只完整演示本地接口边界,不包含生产身份系统。

发布后先进行小流量验证,观察延迟、失败率、每请求工具次数和模型用量。异常时回退到上一版应用与兼容索引,不能只回滚代码而保留不兼容嵌入向量。测试、配置和索引版本共同构成可回退的发布单元。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

测试与部署上线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通