大模型原理与训练 / 系统课时
暴露兼容 OpenAI 的推理接口
暴露兼容 OpenAI 的推理接口
这一节把本地量化模型变成上层应用可直接调用的 Chat Completions 服务。最终不仅要得到 200 响应,还要验证系统提示、采样参数、流式事件和错误状态都符合预期,避免“接口长得像 OpenAI”但接入后行为不一致。
学习目标
- 能启动一个兼容 OpenAI Chat Completions 的推理服务并暴露稳定模型名
- 能发送包含 system 消息与采样参数的非流式和流式请求
- 能验证正常响应、流式结束标记与模型不存在时的错误响应
启动兼容接口
以 vLLM 为例,服务启动后会暴露 /v1/chat/completions 等 OpenAI 风格端点。运行前把 <PATH> 替换为量化模型目录,把 <PORT> 替换为实际监听端口。通过 --served-model-name 固定对外模型名,可以避免上层应用依赖本机目录名。
MODEL_PATH="<PATH>"
PORT="<PORT>"
vllm serve "$MODEL_PATH" \
--served-model-name quantized-model \
--host 0.0.0.0 \
--port "$PORT"预期结果
服务进入运行态;实际日志内容随 vLLM 版本和硬件不同。
客户端可通过 http://127.0.0.1:<PORT>/v1/chat/completions 发送请求。如果服务位于网关之后,应由网关或推理服务本身负责 API Key、TLS、限流和访问日志;不要因为接口格式兼容,就默认已经具备生产级鉴权能力。
一次验证关键行为
下面的脚本只使用 Python 标准库,同时测试非流式、流式和错误响应。运行前设置 OPENAI_BASE_URL,例如 http://127.0.0.1:<PORT>/v1;如果服务启用了 Bearer Token,再设置 OPENAI_API_KEY。
import json
import os
import urllib.error
import urllib.request
base_url = os.environ["OPENAI_BASE_URL"].rstrip("/")
api_key = os.getenv("OPENAI_API_KEY")
headers = {"Content-Type": "application/json"}
if api_key:
headers["Authorization"] = f"Bearer {api_key}"
def open_request(payload):
request = urllib.request.Request(
f"{base_url}/chat/completions",
data=json.dumps(payload).encode("utf-8"),
headers=headers,
method="POST",
)
return urllib.request.urlopen(request, timeout=120)
normal_payload = {
"model": "quantized-model",
"messages": [
{"role": "system", "content": "回答要简洁。"},
{"role": "user", "content": "用一句话解释 KV Cache。"},
],
"temperature": 0.2,
"top_p": 0.9,
"max_tokens": 32,
"stream": False,
}
with open_request(normal_payload) as response:
body = json.load(response)
message = body["choices"][0]["message"]
print(f"normal_status={response.status}")
print(f"assistant_message_present={message.get('role') == 'assistant'}")
stream_payload = dict(normal_payload)
stream_payload["stream"] = True
stream_payload["max_tokens"] = 16
with open_request(stream_payload) as response:
started = False
done = False
for raw_line in response:
line = raw_line.decode("utf-8").strip()
if not line.startswith("data:"):
continue
started = True
if line == "data: [DONE]":
done = True
break
print(f"stream_started={started}")
print(f"stream_done={done}")
error_payload = dict(normal_payload)
error_payload["model"] = "missing-model"
request = urllib.request.Request(
f"{base_url}/chat/completions",
data=json.dumps(error_payload).encode("utf-8"),
headers=headers,
method="POST",
)
try:
urllib.request.urlopen(request, timeout=120)
except urllib.error.HTTPError as error:
error_body = json.loads(error.read().decode("utf-8"))
print(f"error_status={error.code}")
print(f"error_object_present={'error' in error_body}")预期输出
normal_status=200
assistant_message_present=True
stream_started=True
stream_done=True
error_status=404
error_object_present=True脚本没有断言模型必须生成某一句固定文本,因为生成内容会受模型本身影响;它验证的是协议层结构。system 消息能被接受、采样参数能随请求提交、正常响应包含 assistant 消息,才说明上层 SDK 至少可以按标准 Chat Completions 形态接入。
理解流式返回
当 stream 为 true 时,客户端接收的是连续事件,而不是等完整答案生成后再拿到一个 JSON。生产客户端必须逐条消费事件,并正确处理结束标记;如果反向代理开启了响应缓冲,即使后端已经流式生成,前端仍可能表现成“最后一次性返回”。
把错误也当成接口契约
兼容层真正影响上层应用稳定性的,往往是错误响应。模型名不存在、请求 JSON 非法、输入超过上下文限制或鉴权失败时,客户端需要拿到明确的非 2xx 状态,而不是 200 加一段错误文本。
上线前至少保留三类回归用例:正常非流式请求、正常流式请求、确定会失败的请求。这样更换量化格式、推理引擎版本或网关配置后,可以快速确认协议层没有退化。只要这三类测试持续通过,上层应用通常不需要因为底层模型换成量化版本而修改调用方式。