大模型原理与训练 / 系统课时

暴露兼容 OpenAI 的推理接口

暴露兼容 OpenAI 的推理接口

这一节把本地量化模型变成上层应用可直接调用的 Chat Completions 服务。最终不仅要得到 200 响应,还要验证系统提示、采样参数、流式事件和错误状态都符合预期,避免“接口长得像 OpenAI”但接入后行为不一致。

学习目标

  • 能启动一个兼容 OpenAI Chat Completions 的推理服务并暴露稳定模型名
  • 能发送包含 system 消息与采样参数的非流式和流式请求
  • 能验证正常响应、流式结束标记与模型不存在时的错误响应

启动兼容接口

以 vLLM 为例,服务启动后会暴露 /v1/chat/completions 等 OpenAI 风格端点。运行前把 <PATH> 替换为量化模型目录,把 <PORT> 替换为实际监听端口。通过 --served-model-name 固定对外模型名,可以避免上层应用依赖本机目录名。

bash
MODEL_PATH="<PATH>"
PORT="<PORT>"

vllm serve "$MODEL_PATH" \
  --served-model-name quantized-model \
  --host 0.0.0.0 \
  --port "$PORT"

预期结果

text
服务进入运行态;实际日志内容随 vLLM 版本和硬件不同。
客户端可通过 http://127.0.0.1:<PORT>/v1/chat/completions 发送请求。

如果服务位于网关之后,应由网关或推理服务本身负责 API Key、TLS、限流和访问日志;不要因为接口格式兼容,就默认已经具备生产级鉴权能力。

一次验证关键行为

下面的脚本只使用 Python 标准库,同时测试非流式、流式和错误响应。运行前设置 OPENAI_BASE_URL,例如 http://127.0.0.1:<PORT>/v1;如果服务启用了 Bearer Token,再设置 OPENAI_API_KEY。

python
import json
import os
import urllib.error
import urllib.request

base_url = os.environ["OPENAI_BASE_URL"].rstrip("/")
api_key = os.getenv("OPENAI_API_KEY")

headers = {"Content-Type": "application/json"}
if api_key:
    headers["Authorization"] = f"Bearer {api_key}"

def open_request(payload):
    request = urllib.request.Request(
        f"{base_url}/chat/completions",
        data=json.dumps(payload).encode("utf-8"),
        headers=headers,
        method="POST",
    )
    return urllib.request.urlopen(request, timeout=120)

normal_payload = {
    "model": "quantized-model",
    "messages": [
        {"role": "system", "content": "回答要简洁。"},
        {"role": "user", "content": "用一句话解释 KV Cache。"},
    ],
    "temperature": 0.2,
    "top_p": 0.9,
    "max_tokens": 32,
    "stream": False,
}

with open_request(normal_payload) as response:
    body = json.load(response)
    message = body["choices"][0]["message"]
    print(f"normal_status={response.status}")
    print(f"assistant_message_present={message.get('role') == 'assistant'}")

stream_payload = dict(normal_payload)
stream_payload["stream"] = True
stream_payload["max_tokens"] = 16

with open_request(stream_payload) as response:
    started = False
    done = False
    for raw_line in response:
        line = raw_line.decode("utf-8").strip()
        if not line.startswith("data:"):
            continue
        started = True
        if line == "data: [DONE]":
            done = True
            break
    print(f"stream_started={started}")
    print(f"stream_done={done}")

error_payload = dict(normal_payload)
error_payload["model"] = "missing-model"

request = urllib.request.Request(
    f"{base_url}/chat/completions",
    data=json.dumps(error_payload).encode("utf-8"),
    headers=headers,
    method="POST",
)

try:
    urllib.request.urlopen(request, timeout=120)
except urllib.error.HTTPError as error:
    error_body = json.loads(error.read().decode("utf-8"))
    print(f"error_status={error.code}")
    print(f"error_object_present={'error' in error_body}")

预期输出

text
normal_status=200
assistant_message_present=True
stream_started=True
stream_done=True
error_status=404
error_object_present=True

脚本没有断言模型必须生成某一句固定文本,因为生成内容会受模型本身影响;它验证的是协议层结构。system 消息能被接受、采样参数能随请求提交、正常响应包含 assistant 消息,才说明上层 SDK 至少可以按标准 Chat Completions 形态接入。

理解流式返回

当 stream 为 true 时,客户端接收的是连续事件,而不是等完整答案生成后再拿到一个 JSON。生产客户端必须逐条消费事件,并正确处理结束标记;如果反向代理开启了响应缓冲,即使后端已经流式生成,前端仍可能表现成“最后一次性返回”。

把错误也当成接口契约

兼容层真正影响上层应用稳定性的,往往是错误响应。模型名不存在、请求 JSON 非法、输入超过上下文限制或鉴权失败时,客户端需要拿到明确的非 2xx 状态,而不是 200 加一段错误文本。

上线前至少保留三类回归用例:正常非流式请求、正常流式请求、确定会失败的请求。这样更换量化格式、推理引擎版本或网关配置后,可以快速确认协议层没有退化。只要这三类测试持续通过,上层应用通常不需要因为底层模型换成量化版本而修改调用方式。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

暴露兼容 OpenAI 的推理接口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通