大模型应用开发 / 系统课时
设计并发与队列策略
设计并发与队列策略
学习目标
完成本课后,你将能够:
- 解释模型并行、模型驻留和请求队列之间的关系
- 配置最大加载模型数、并行数和队列上限
- 在应用层实现限流、超时和过载返回
- 通过压测确定设备能够稳定承载的并发范围
为什么单机并发容易失控
大模型请求持续时间长、上下文占用高,同一时刻增加多个请求会同时消耗计算和缓存。并发过高时常见结果:
- 每个请求的生成速度下降
- 首字延迟增加
- 显存或内存不足
- 模型频繁加载和卸载
- 请求进入长队列
- 队列达到上限后返回过载错误
- 上游客户端重复重试,形成更大压力
并发设计的目标不是让所有请求同时执行,而是在吞吐、延迟、资源和失败率之间保持可预测。
三个服务级控制点
Ollama 的常见服务级控制包括:
| 环境变量 | 控制对象 | 主要风险 |
|---|---|---|
OLLAMA_MAX_LOADED_MODELS |
同时驻留的模型数量 | 多模型权重占满内存或显存 |
OLLAMA_NUM_PARALLEL |
单个模型并行处理请求数 | 每个并行请求需要上下文缓存 |
OLLAMA_MAX_QUEUE |
过载时允许排队的请求数 | 队列过长导致客户端等待超时 |
默认值会根据平台和内存条件变化,不能把某个默认数值写死为所有设备的推荐值。
Linux systemd 配置示例
服务 override 片段:
[Service]
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_MAX_QUEUE=64"这是配置片段。保存后执行:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl is-active ollama预期输出:
active配置值只是实验起点。上线前应根据模型大小、上下文和设备压测调整。
Docker 配置示例
使用环境变量重建容器:
docker rm -f ollama 2>/dev/null || true
docker run -d --name ollama --restart unless-stopped -e OLLAMA_MAX_LOADED_MODELS=1 -e OLLAMA_NUM_PARALLEL=2 -e OLLAMA_MAX_QUEUE=64 -v ollama:/root/.ollama -p 11434:11434 ollama/ollama预期输出:
<CONTAINER_ID>验证环境变量:
docker inspect ollama --format '{{range .Config.Env}}{{println .}}{{end}}' | grep '^OLLAMA_'预期输出:
OLLAMA_MAX_LOADED_MODELS=1
OLLAMA_NUM_PARALLEL=2
OLLAMA_MAX_QUEUE=64应用层必须补充哪些保护
Ollama 的内部队列不能替代业务网关。应用层还应实现:
- 用户或 API Key 级并发上限
- 全局请求速率限制
- 请求体与上下文长度限制
- 连接、首字和总请求超时
- 客户端取消传播
- 有上限的重试与指数退避
- 过载时快速返回
- 优先级队列或离线任务队列
- 指标与告警
如果应用超时后没有取消下游请求,Ollama 可能继续生成,形成“客户端已经放弃但服务器仍占资源”的隐藏负载。
简单并发测试脚本
下面的 Python 程序并发提交固定请求,并记录状态和耗时。保存为 ollama_concurrency_test.py:
import concurrent.futures
import json
import time
import urllib.error
import urllib.request
URL = "http://localhost:11434/api/generate"
MODEL = "<MODEL>"
CONCURRENCY = 4
TOTAL_REQUESTS = 12
def call_ollama(index: int) -> dict:
payload = json.dumps({
"model": MODEL,
"prompt": f"用一句话解释并发测试,编号 {index}。",
"stream": False,
"keep_alive": "5m",
}).encode("utf-8")
request = urllib.request.Request(
URL,
data=payload,
headers={"Content-Type": "application/json"},
method="POST",
)
started = time.perf_counter()
try:
with urllib.request.urlopen(request, timeout=180) as response:
body = json.loads(response.read().decode("utf-8"))
return {
"index": index,
"status": response.status,
"seconds": round(time.perf_counter() - started, 3),
"eval_count": body.get("eval_count"),
}
except urllib.error.HTTPError as exc:
return {
"index": index,
"status": exc.code,
"seconds": round(time.perf_counter() - started, 3),
"error": exc.read().decode("utf-8", errors="replace"),
}
except Exception as exc:
return {
"index": index,
"status": "client_error",
"seconds": round(time.perf_counter() - started, 3),
"error": str(exc),
}
def main() -> None:
started = time.perf_counter()
with concurrent.futures.ThreadPoolExecutor(
max_workers=CONCURRENCY
) as executor:
results = list(executor.map(call_ollama, range(TOTAL_REQUESTS)))
print(json.dumps(results, ensure_ascii=False, indent=2))
print(f"wall_seconds={time.perf_counter() - started:.3f}")
if __name__ == "__main__":
main()运行:
python3 ollama_concurrency_test.py预期输出结构:
[
{
"index": 0,
"status": 200,
"seconds": <SECONDS>,
"eval_count": <TOKEN_COUNT>
}
]
wall_seconds=<TOTAL_SECONDS>真实数组包含 12 项,状态、耗时和 Token 数由设备决定。出现 503 时表示服务在当前队列配置下拒绝过载请求。
如何选择并行数
逐级压测 1 → 2 → 4 → 8,每一级都必须满足:
- P95 首字延迟不超过业务目标
- P95 总耗时不超过客户端超时
- 错误率在容许范围内
- 显存和内存保留安全余量
- 不发生频繁模型卸载
- 系统不进入持续交换
- 单请求回答质量不因资源压力异常下降
一旦某级出现延迟陡升、OOM 或错误率上升,应退回上一稳定级,而不是继续增加队列掩盖问题。
队列长度如何选择
队列长度应由可接受等待时间推导,而不是越大越好。例如:
可接受排队请求数
≈ 稳定吞吐量 × 可接受排队秒数如果服务稳定吞吐为每秒 0.5 个请求,业务允许额外等待 20 秒,则队列起点约为 10 个请求。还应考虑请求长度差异和优先级。
队列过长会让请求在客户端超时后才开始执行,浪费计算。高峰时更合理的做法可能是快速返回 429 或 503,让上游受控重试。
本课练习
练习 1:确定稳定并行数
任务目标:找出设备的最大稳定并行范围。输入或初始条件:准备固定模型、上下文和测试请求。实现要求:依次测试 1、2、4、8 并发
验收条件:基于 P95 延迟、错误率和资源余量选择配置。
练习 2:设计过载响应
任务目标:避免无限排队。输入或初始条件:假设 API 最大稳定并发为 2,业务高峰会到 20。实现要求:设计网关限流、队列上限、状态码和重试策略。验收条件:客户端超时后不会继续制造无效负载。
练习 3:比较多模型与单模型
任务目标:评估模型驻留策略。输入或初始条件:准备两个模型和交替请求。实现要求:分别测试最大加载模型数 1 与 2。验收条件:记录切换延迟、资源峰值和吞吐差异。