大模型应用开发 / 系统课时

设计并发与队列策略

设计并发与队列策略

学习目标

完成本课后,你将能够:

  • 解释模型并行、模型驻留和请求队列之间的关系
  • 配置最大加载模型数、并行数和队列上限
  • 在应用层实现限流、超时和过载返回
  • 通过压测确定设备能够稳定承载的并发范围

为什么单机并发容易失控

大模型请求持续时间长、上下文占用高,同一时刻增加多个请求会同时消耗计算和缓存。并发过高时常见结果:

  • 每个请求的生成速度下降
  • 首字延迟增加
  • 显存或内存不足
  • 模型频繁加载和卸载
  • 请求进入长队列
  • 队列达到上限后返回过载错误
  • 上游客户端重复重试,形成更大压力

并发设计的目标不是让所有请求同时执行,而是在吞吐、延迟、资源和失败率之间保持可预测。

三个服务级控制点

Ollama 的常见服务级控制包括:

环境变量 控制对象 主要风险
OLLAMA_MAX_LOADED_MODELS 同时驻留的模型数量 多模型权重占满内存或显存
OLLAMA_NUM_PARALLEL 单个模型并行处理请求数 每个并行请求需要上下文缓存
OLLAMA_MAX_QUEUE 过载时允许排队的请求数 队列过长导致客户端等待超时

默认值会根据平台和内存条件变化,不能把某个默认数值写死为所有设备的推荐值。

Linux systemd 配置示例

服务 override 片段:

ini
[Service]
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_MAX_QUEUE=64"

这是配置片段。保存后执行:

bash
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl is-active ollama

预期输出:

text
active

配置值只是实验起点。上线前应根据模型大小、上下文和设备压测调整。

Docker 配置示例

使用环境变量重建容器:

bash
docker rm -f ollama 2>/dev/null || true
docker run -d   --name ollama   --restart unless-stopped   -e OLLAMA_MAX_LOADED_MODELS=1   -e OLLAMA_NUM_PARALLEL=2   -e OLLAMA_MAX_QUEUE=64   -v ollama:/root/.ollama   -p 11434:11434   ollama/ollama

预期输出:

text
<CONTAINER_ID>

验证环境变量:

bash
docker inspect ollama   --format '{{range .Config.Env}}{{println .}}{{end}}' | grep '^OLLAMA_'

预期输出:

text
OLLAMA_MAX_LOADED_MODELS=1
OLLAMA_NUM_PARALLEL=2
OLLAMA_MAX_QUEUE=64

应用层必须补充哪些保护

Ollama 的内部队列不能替代业务网关。应用层还应实现:

  • 用户或 API Key 级并发上限
  • 全局请求速率限制
  • 请求体与上下文长度限制
  • 连接、首字和总请求超时
  • 客户端取消传播
  • 有上限的重试与指数退避
  • 过载时快速返回
  • 优先级队列或离线任务队列
  • 指标与告警

如果应用超时后没有取消下游请求,Ollama 可能继续生成,形成“客户端已经放弃但服务器仍占资源”的隐藏负载。

简单并发测试脚本

下面的 Python 程序并发提交固定请求,并记录状态和耗时。保存为 ollama_concurrency_test.py:

python
import concurrent.futures
import json
import time
import urllib.error
import urllib.request

URL = "http://localhost:11434/api/generate"
MODEL = "<MODEL>"
CONCURRENCY = 4
TOTAL_REQUESTS = 12

def call_ollama(index: int) -> dict:
    payload = json.dumps({
        "model": MODEL,
        "prompt": f"用一句话解释并发测试,编号 {index}。",
        "stream": False,
        "keep_alive": "5m",
    }).encode("utf-8")
    request = urllib.request.Request(
        URL,
        data=payload,
        headers={"Content-Type": "application/json"},
        method="POST",
    )
    started = time.perf_counter()
    try:
        with urllib.request.urlopen(request, timeout=180) as response:
            body = json.loads(response.read().decode("utf-8"))
            return {
                "index": index,
                "status": response.status,
                "seconds": round(time.perf_counter() - started, 3),
                "eval_count": body.get("eval_count"),
            }
    except urllib.error.HTTPError as exc:
        return {
            "index": index,
            "status": exc.code,
            "seconds": round(time.perf_counter() - started, 3),
            "error": exc.read().decode("utf-8", errors="replace"),
        }
    except Exception as exc:
        return {
            "index": index,
            "status": "client_error",
            "seconds": round(time.perf_counter() - started, 3),
            "error": str(exc),
        }

def main() -> None:
    started = time.perf_counter()
    with concurrent.futures.ThreadPoolExecutor(
        max_workers=CONCURRENCY
    ) as executor:
        results = list(executor.map(call_ollama, range(TOTAL_REQUESTS)))

    print(json.dumps(results, ensure_ascii=False, indent=2))
    print(f"wall_seconds={time.perf_counter() - started:.3f}")

if __name__ == "__main__":
    main()

运行:

bash
python3 ollama_concurrency_test.py

预期输出结构:

text
[
  {
    "index": 0,
    "status": 200,
    "seconds": <SECONDS>,
    "eval_count": <TOKEN_COUNT>
  }
]
wall_seconds=<TOTAL_SECONDS>

真实数组包含 12 项,状态、耗时和 Token 数由设备决定。出现 503 时表示服务在当前队列配置下拒绝过载请求。

如何选择并行数

逐级压测 1 → 2 → 4 → 8,每一级都必须满足:

  • P95 首字延迟不超过业务目标
  • P95 总耗时不超过客户端超时
  • 错误率在容许范围内
  • 显存和内存保留安全余量
  • 不发生频繁模型卸载
  • 系统不进入持续交换
  • 单请求回答质量不因资源压力异常下降

一旦某级出现延迟陡升、OOM 或错误率上升,应退回上一稳定级,而不是继续增加队列掩盖问题。

队列长度如何选择

队列长度应由可接受等待时间推导,而不是越大越好。例如:

text
可接受排队请求数
≈ 稳定吞吐量 × 可接受排队秒数

如果服务稳定吞吐为每秒 0.5 个请求,业务允许额外等待 20 秒,则队列起点约为 10 个请求。还应考虑请求长度差异和优先级。

队列过长会让请求在客户端超时后才开始执行,浪费计算。高峰时更合理的做法可能是快速返回 429 或 503,让上游受控重试。

本课练习

练习 1:确定稳定并行数

任务目标:找出设备的最大稳定并行范围。输入或初始条件:准备固定模型、上下文和测试请求。实现要求:依次测试 1、2、4、8 并发

验收条件:基于 P95 延迟、错误率和资源余量选择配置。

练习 2:设计过载响应

任务目标:避免无限排队。输入或初始条件:假设 API 最大稳定并发为 2,业务高峰会到 20。实现要求:设计网关限流、队列上限、状态码和重试策略。验收条件:客户端超时后不会继续制造无效负载。

练习 3:比较多模型与单模型

任务目标:评估模型驻留策略。输入或初始条件:准备两个模型和交替请求。实现要求:分别测试最大加载模型数 1 与 2。验收条件:记录切换延迟、资源峰值和吞吐差异。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计并发与队列策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通