机器学习与深度学习 / 系统课时

部署与推理

部署与推理

部署的目标是让训练好的模型以稳定、可监控的方式接收输入并返回预测。本课将比较批量推理与实时推理,使用 Python 标准库实现一个最小 HTTP 服务,并说明版本、资源和异常处理要求。

学习目标

  • 区分批量推理与实时推理的适用场景
  • 能运行一个最小模型推理接口
  • 理解延迟、吞吐量、资源和版本管理的关系

从模型文件到可用服务

部署系统通常包含请求入口、输入校验、预处理、模型推理、后处理和监控记录。模型只是其中一部分,训练时使用的词表、归一化规则和标签映射也必须随版本一起发布。

模型部署与在线推理架构

实时推理关注单次请求延迟和并发能力,适合交互式推荐、风控和在线分类。批量推理关注单位时间处理量和资源利用率,适合离线报表、历史数据补算和定时任务。

最小 HTTP 推理服务

下面的服务仅绑定回环地址,用上一阶段的规则思路演示推理接口。无命中或两类同时命中时转人工。实际业务仍应在入口先检查工单范围和敏感标记。Python 的 http.server 适合本地教学,生产服务需要独立的鉴权、资源限额、超时、访问控制和日志策略。

python
import json
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer

MAX_BODY = 4096
RULE_VERSION = "ticket-rules-v1"

def predict(text):
    hits = [label for label, words in {
        "账号": ("登录", "验证码", "密码"),
        "退款": ("退款", "扣款"),
    }.items() if any(word in text for word in words)]
    return hits[0] if len(hits) == 1 else "转人工"

class PredictHandler(BaseHTTPRequestHandler):
    def setup(self):
        self.request.settimeout(2)
        super().setup()

    def send_json(self, status, value):
        body = json.dumps(value, ensure_ascii=False).encode("utf-8")
        self.send_response(status)
        self.send_header("Content-Type", "application/json; charset=utf-8")
        self.send_header("Content-Length", str(len(body)))
        self.send_header("Cache-Control", "no-store")
        self.end_headers()
        self.wfile.write(body)

    def do_POST(self):
        if self.path != "/predict":
            return self.send_json(404, {"error": "not_found"})
        if self.headers.get_content_type() != "application/json":
            return self.send_json(415, {"error": "expected_json"})
        lengths = self.headers.get_all("Content-Length") or []
        if self.headers.get("Transfer-Encoding") or len(lengths) != 1:
            return self.send_json(400, {"error": "invalid_body_length"})
        raw_length = lengths[0]
        if not raw_length.isascii() or not raw_length.isdigit() or raw_length == "0":
            return self.send_json(400, {"error": "invalid_body_length"})
        if len(raw_length) > 4 or int(raw_length) > MAX_BODY:
            return self.send_json(413, {"error": "body_too_large"})
        length = int(raw_length)
        if length == 0:
            return self.send_json(400, {"error": "invalid_body_length"})
        try:
            body = self.rfile.read(length)
        except TimeoutError:
            return self.send_json(408, {"error": "body_timeout"})
        if len(body) != length:
            return self.send_json(400, {"error": "incomplete_body"})
        try:
            data = json.loads(body.decode("utf-8"))
        except (UnicodeDecodeError, json.JSONDecodeError):
            return self.send_json(400, {"error": "invalid_json"})
        if (not isinstance(data, dict) or set(data) != {"text"} or
                not isinstance(data["text"], str) or not data["text"].strip()):
            return self.send_json(400, {"error": "invalid_text"})
        return self.send_json(200, {"label": predict(data["text"]), "version": RULE_VERSION})

    def log_message(self, format, *args):
        pass  # 本地演示不记录原始请求

if __name__ == "__main__":
    with ThreadingHTTPServer(("127.0.0.1", 8000), PredictHandler) as server:
        print("Serving on http://127.0.0.1:8000", flush=True)
        server.serve_forever()

保存为 server.py 后运行 python server.py,再从终端发请求。示例接收单个 UTF-8 JSON 对象,正文上限 4096 字节。

bash
curl -sS -X POST http://127.0.0.1:8000/predict \
  -H 'Content-Type: application/json' \
  -d '{"text":"退款还没有到账"}'

预期 HTTP 200,响应包含 label 为“退款”和 version 为 ticket-rules-v1。发送空对象或损坏的 JSON 会得到 400,内容类型不符为 415,声明长度超限为 413。试验结束后用 Ctrl+C 停止本地服务。真实模型的预处理、标签映射和决策阈值应与模型版本一并管理。

性能与资源取舍

延迟是单次请求完成时间,吞吐量是单位时间处理的请求或样本数量。适度增大批量可能提高吞吐量,也会增加等待时间和内存占用。用实际并发和输入长度分布压测批量上限、排队超时、P95 与 P99。

模型加载通常消耗较多内存和时间,应在进程启动时完成,而不是每个请求重新加载。使用 GPU 时还要观察显存、利用率和批处理队列;使用 CPU 时应关注线程数、并发和模型大小。

压缩、量化或更小模型可以降低资源消耗,但必须重新评估精度。部署优化不能只看速度,还要确认输出质量没有跌破验收标准。

版本、监控与回退

每次响应或日志应能关联模型版本、预处理版本和服务版本。新模型先进行小流量验证,观察错误率、延迟、资源和业务指标,再逐步扩大范围。

监控至少包括请求量、成功率、错误码、延迟分位数、资源使用和输入分布变化。只监控服务是否存活,无法发现模型已经因为数据漂移而失效。

上线前还应准备回退方案,例如切回旧模型、降级到基线规则或转人工。用同一业务口径核对小流量版本和旧版本,回退时一起恢复模型、预处理和阈值。下一课拆分线上延迟、异常和质量信号。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

部署与推理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通