MySQL / 系统课时

制定执行与中止阈值

制定执行与中止阈值

在线 DDL 能否安全执行,不能只靠“看起来负载不高”。这一课把锁等待、复制、IO、磁盘等指标转成执行前门槛、自动中止条件和人工决策边界,让值班人员在异常出现时知道什么时候继续、什么时候停。

学习目标

  • 为结构变更定义可观测、可执行的启动与中止阈值
  • 区分必须自动停止的硬条件和需要人工判断的软条件
  • 用数据库指标验证阈值能够在真实执行过程中被监控

把阈值写成可执行规则

阈值的关键不是数字多精确,而是每条规则都同时回答三个问题:监控什么、超过多少算异常、异常后执行什么动作。只写“关注复制延迟”没有操作价值;应写成“复制延迟连续超过阈值则停止下一阶段操作,并评估是否终止 DDL”。

常见指标可以分成五组:锁等待反映业务请求是否被结构变更阻塞;复制状态反映副本能否跟上主库;IO 与 CPU 反映变更是否挤占线上资源;临时空间和磁盘剩余量决定操作是否可能耗尽存储;业务延迟和错误率则用于判断数据库指标尚未越界但用户侧已经受损的情况。

不要把所有指标都设置成同一种阈值。启动前更适合使用“必须满足”的准入条件,执行中则同时需要预警阈值和中止阈值。例如磁盘剩余量不足可以直接禁止启动,而业务 P99 延迟轻微升高可以先观察一段时间。

执行阈值与中止决策流程

先定义硬中止条件

硬中止条件用于处理继续执行明显比停止更危险的情况,因此应尽量客观,并允许自动化系统直接采取动作。下面是一组制定规则时的参考结构,具体数字必须根据业务基线、实例规格和复制拓扑重新校准。

观测项 适合设为硬条件的现象 动作
元数据锁 DDL 等待超过允许时间并开始形成阻塞链 终止等待中的 DDL
复制状态 SQL/IO 线程异常或复制中断 停止变更并处理复制故障
磁盘 剩余空间跌破预留安全线 中止可停止的操作,禁止继续扩张
业务错误率 明显越过发布基线并持续恶化 优先恢复业务,再分析 DDL
IO 长时间饱和且业务延迟同步恶化 停止或限速变更

MySQL 可以直接限制会话等待元数据锁的时间。下面示例把当前变更会话的 lock_wait_timeout 设为 5 秒,再执行一次测试 ALTER。生产环境的数值应来自变更策略,而不是照抄示例。

sql
SET SESSION lock_wait_timeout = 5;

ALTER TABLE app.orders
    ADD INDEX idx_created_at (created_at);

预期结果:如果目标表存在持续占用冲突元数据锁的事务,ALTER 不会无限等待,而会在达到会话阈值后失败。错误文本可能因客户端版本略有不同。

text
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction

这类会话级保护很重要,因为“DDL 还没有真正开始执行”并不等于没有风险。等待元数据锁的 ALTER 可能排在锁队列中,随后让新的业务请求一起等待,形成阻塞放大。

为人工决策保留软阈值

并非所有异常都应该立即 KILL。复制延迟从 0 秒升到几秒、IO 利用率短时升高、P99 延迟出现小幅波动,都可能只是正常执行成本。如果单点越线就中止,大表变更会因偶发抖动频繁失败。

软阈值应该增加“持续时间”和“趋势”两个维度。例如不要只写“复制延迟超过 10 秒”,而应写成“复制延迟连续多个采样周期上涨,并超过业务可接受窗口”。人工判断时还要确认副本是否承担读流量、是否影响故障切换,以及 DDL 当前处于容易终止还是接近完成的阶段。

可以在变更过程中周期性检查副本状态:

sql
SHOW REPLICA STATUS\G

预期输出中的实际主机、日志位置和秒数会随环境变化,重点检查复制线程与延迟字段:

text
Replica_IO_Running: Yes
Replica_SQL_Running: Yes
Seconds_Behind_Source: <VALUE>
Last_IO_Error:
Last_SQL_Error:

把阈值纳入执行记录

一份真正可用的变更单至少应在执行前写清基线值、预警值、中止值、采样周期和负责人。执行过程中记录越线时间和采取的动作,才能在事后判断阈值是否过宽或过严。

如果某项指标没有稳定基线,就不要假装能给出精确百分比。可以先用最近多个业务高峰的正常区间建立准入范围,再通过几次低风险变更校准。对于磁盘这类不可逆风险,还应把 DDL 临时空间、binlog 增量和回退所需空间一起计入安全余量,而不是只看操作开始前的 df 数值。

最终的执行标准应让现场人员无需临时争论:硬条件越线立即执行既定中止动作;软条件越线后由指定负责人结合趋势、业务影响和操作阶段作决定。这样阈值才从监控面板上的数字,变成结构变更治理的一部分。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

制定执行与中止阈值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通