AI 内容创作 / 系统课时
压测、灰度发布与项目复盘
压测、灰度发布与项目复盘
本课把数字人项目从“单次可运行”推进到“可安全上线”:先建立真实负载模型和容量门槛,再设计灰度、观测与回滚机制,最后用可验证的复盘行动项沉淀工程经验。
学习目标
- 能够根据并发会话、到达率、会话时长和媒体负载设计可重复的压力测试。
- 能够定义灰度阶段、观测窗口、停止条件和回滚范围,避免带病扩量。
- 能够完成项目验收与复盘,将问题转化为有负责人、截止时间和验证标准的行动项。
从压测到复盘的交付闭环
压测先复现用户行为。至少定义会话到达率、会话时长、音频长度、抢话概率、模型组合和网络。稳定窗口内,用同一系统边界及时间单位估算 平均在系统会话数 ≈ 完成率 × 平均停留时间。若积压持续增长,应先报告队列增长和超时,不能用短窗近似当容量结论。
固定工作者做闭环负载,上一条完成后再发下一条,服务慢下来会减少发出的量。开放式负载按独立的到达计划发起,能反映用户不会随服务变慢而自动减少到达的情况。记录计划到达、实际发起、积压和因生成器容量不足而漏发的迭代。k6 负载模型
| 维度 | 关键输入 | 核心指标 | 典型验收方式 |
|---|---|---|---|
| 性能 | 并发、到达率、请求组合 | 首响 p95、帧率、吞吐量 |
与项目 SLO 比较 |
| 稳定性 | 持续时间、取消率、重试率 | 错误率、重连成功率、内存趋势 | 长时间运行无持续恶化 |
| 资源 | 模型组合、批量、分辨率 | GPU 利用率、显存峰值、CPU | 峰值留有安全余量 |
| 体验 | 网络抖动、抢话、弱网 | 音画偏移、卡顿率、恢复时间 | 关键场景人工复核 |
| 发布 | 灰度人群、版本比例 | 对照组差异、回滚耗时 | 未触发停止门槛 |

压测应先验证脚本和指标采集,再进行阶梯升压、稳态保持和降压观察。容量上限不是第一次报错的位置,而是满足时延、错误率、同步和资源门槛时可持续运行的最大负载;正式规划还应保留故障切换、流量波动和模型切换所需的余量。
灰度发布与回滚门槛
保留稳定对照组,以会话为单位做固定分流,按版本、场景、设备及相同窗口比较。扩量前同时满足样本数和观察时长,数据不足时维持比例。门槛包含绝对 SLO、相对对照组退化,以及能立即冻结扩量或回滚的安全事件。先决定处理低样本和共享依赖故障的方式,再开启灰度。Google SRE 灰度发布
回滚分别校验应用、模型、配置、缓存和数据结构。灰度期间保持旧版本读取能力,演练新会话切回、存量会话排空和会话恢复。记录触发时间、切流时间、恢复的成功率及首响 p95、残留新版本会话量。影响用户或数据的已执行操作需有单独处置步骤。
用最小压测器验证门槛
下面的闭环示例只验证负载发生器与门禁算法。固定数量工作者用单调时钟测量每个已开始请求,脚本可注入 503。成功完成时延与错误率分别统计,错误率分母是全部完成尝试。保存为 load_gate.py。
import argparse
import asyncio
import math
import time
from dataclasses import dataclass
@dataclass(frozen=True)
class Result:
status: int
duration_ms: float
async def simulate_request(request_id, fail_every):
await asyncio.sleep((20 + request_id % 11) / 1000)
return 503 if fail_every and (request_id + 1) % fail_every == 0 else 200
async def run(requests, concurrency, fail_every):
pending = iter(range(requests))
results = []
started = time.perf_counter()
async def worker():
for request_id in pending:
sent = time.perf_counter()
status = await simulate_request(request_id, fail_every)
results.append(Result(status, 1000 * (time.perf_counter() - sent)))
workers = min(requests, concurrency)
await asyncio.gather(*(worker() for _ in range(workers)))
return results, workers, time.perf_counter() - started
def gate(results, minimum, p95_limit):
successful = sorted(row.duration_ms for row in results if row.status == 200)
if not results:
return "HOLD", None, None
error_rate = (len(results) - len(successful)) / len(results)
p95 = successful[math.ceil(0.95 * len(successful)) - 1] if successful else None
if error_rate > 0.02:
return "STOP", error_rate, p95
if len(successful) < minimum:
return "HOLD", error_rate, p95
return ("PASS" if p95 <= p95_limit else "STOP"), error_rate, p95
def main():
cli = argparse.ArgumentParser()
cli.add_argument("--requests", type=int, default=40)
cli.add_argument("--concurrency", type=int, default=8)
cli.add_argument("--fail-every", type=int, default=0)
cli.add_argument("--min-success", type=int, default=30)
cli.add_argument("--p95-limit-ms", type=float, default=250)
args = cli.parse_args()
if min(args.requests, args.concurrency, args.min_success) < 1 or args.fail_every < 0:
cli.error("requests, concurrency and min-success must be positive; fail-every must be nonnegative")
if not math.isfinite(args.p95_limit_ms) or args.p95_limit_ms <= 0:
cli.error("p95-limit-ms must be finite and positive")
results, workers, elapsed = asyncio.run(run(args.requests, args.concurrency, args.fail_every))
decision, errors, p95 = gate(results, args.min_success, args.p95_limit_ms)
successes = sum(row.status == 200 for row in results)
print(f"attempts={len(results)} workers={workers} successes={successes} error_rate={errors:.1%}")
tail = f"{p95:.1f} ms" if p95 is not None else "no data"
print(f"completed_p95={tail} goodput={successes / elapsed:.1f} req/s")
print(f"decision={decision}")
return {"PASS": 0, "STOP": 1, "HOLD": 2}[decision]
if __name__ == "__main__":
raise SystemExit(main())python load_gate.py --requests 40 --concurrency 8 --fail-every 17attempts=40 workers=8 successes=38 error_rate=5.0%
completed_p95=<实际毫秒> goodput=<实际成功请求数每秒> req/s
decision=STOP40 条中第 17、34 条故意失败,因超过 2% 错误率门槛,脚本返回 1。延迟和有效吞吐量来自本机时钟,会随调度变化。移除 --fail-every 可以验证无注入错误时的逻辑。减少到 10 条且没有错误时,门禁返回 HOLD。这里把错误率超限定义为保守停止,线上是否允许低样本自动回滚要在策略中预先定义。
真实服务压测应另设会话身份、媒体输入、连接复用、首响/成功结束时间、客户端超时及取消、每种退出状态的采集。对 WebSocket 或流式传输,建立连接成功与收到可播放内容分别计时。用多负载档和稳态窗口测系统容量,并监控负载发生器本身。
验收、回滚演练与复盘
项目验收应覆盖功能正确性、性能容量、长时间稳定性、弱网恢复、安全合规和运维可观测性。每项必须提供输入条件、测试版本、原始证据、判定门槛和结果,不能只以一次演示成功作为交付结论。
回滚演练至少要完成“触发停止条件 → 冻结扩量 → 切回稳定版本 → 排空或恢复会话 → 验证核心链路 → 关闭告警”全过程。复盘则应区分事实、判断和行动,避免把“加强测试”作为无法验收的结论。
| 复盘字段 | 应记录的内容 |
|---|---|
| 现象与影响 | 发生时间、用户范围、指标变化、持续时长 |
| 证据与根因 | 日志、指标、版本差异、可复现条件 |
| 有效与无效决策 | 哪一步缩短或扩大了影响 |
| 行动项 | 负责人、截止时间、验收方法、关联问题 |
| 关闭条件 | 代码合入、压测通过、灰度验证和文档更新 |
练习 1:寻找容量拐点
先在此模拟中跑不同并发、故障注入和样本量,验证三种门禁结果。然后在同一授权测试环境按真实负载使用不同会话到达率,冻结输入比例和观测时长。记录完成 p95、错误率、漏发、有效吞吐量及队列增长,找出首次持续违反门槛的负载。
练习 2:编写灰度与回滚方案
为一个新 TTS 模型设计四阶段灰度计划,明确每阶段流量、观测窗口、对照组、硬停止门槛和回滚步骤。验收条件是任何值班人员都能依据文档独立判断继续扩量还是立即回滚。
本课总结
- 容量评估必须建立在真实负载模型、分阶段指标和持续稳定条件上,而不是单一并发数字。
- 灰度发布的核心是对照、门槛和可演练回滚,扩量比例只是执行手段。
- 高质量复盘必须把证据转化为可追踪、可验收并能进入下一轮测试的行动项。
下一课预告
完成本课后,用项目验收清单复核音画、性能、隐私、发布和回滚证据,将复盘行动项登记为下一轮可重复执行的验收用例。