NoSQL 与搜索 / 系统课时

监控 Oplog 与复制延迟

监控 Oplog 与复制延迟

复制集出现 lag 时,关键不是只看“落后了多少秒”,而是把复制延迟、oplog 可追赶窗口和成员状态放在同一条时间线上判断。本课会建立一套可重复的检查顺序,并用磁盘、网络和写入峰值解释常见异常。

学习目标

  • 读取 oplog window、成员状态与 secondary 相对 primary 的复制时间差。
  • 区分短时抖动、持续 lag 与 oplog 窗口不足三类风险。
  • 按磁盘、网络和写入压力的顺序定位复制延迟根因。

先看三组信号

复制健康度至少要同时观察三组值:primary 与 secondary 的 optimeDate 差值、oplog 从最旧到最新记录覆盖的时间范围,以及成员当前的 stateStr、health 等状态。rs.printSecondaryReplicationInfo() 可快速查看 secondary 落后时间,rs.printReplicationInfo() 或 db.getReplicationInfo() 可查看 oplog 的时间跨度。:contentReference[oaicite:0]{index=0}

可以把风险直观理解为“可追赶余量 = oplog window - 最大复制 lag”。lag 很小但 window 也很短,仍可能经不起维护或网络中断;lag 持续增长并逼近 window,则表示 secondary 正在失去依靠增量 oplog 追赶的安全空间。

Oplog window、复制延迟与故障余量的关系

采集一份可比较的快照

在 primary 的 mongosh 中执行下面脚本。它把成员的 optimeDate 转成相对 primary 的秒级 lag,并同时输出当前成员的 oplog 信息,适合手工检查或复制到值班记录中。

js
const status = rs.status();
const primary = status.members.find((m) => m.stateStr === "PRIMARY");

if (!primary) {
  throw new Error("当前状态中没有 PRIMARY,先检查是否正在选举或失去多数派");
}

const lagRows = status.members.map((m) => ({
  name: m.name,
  state: m.stateStr,
  health: m.health,
  optimeDate: m.optimeDate,
  lagSeconds: m.optimeDate
    ? Math.max(0, (primary.optimeDate - m.optimeDate) / 1000)
    : null
}));

printjson(lagRows);
printjson(db.getReplicationInfo());

预期输出

text
[
  { name: 'mongo-a:<PORT>', state: 'PRIMARY', health: 1, optimeDate: ISODate('<TIME>'), lagSeconds: 0 },
  { name: 'mongo-b:<PORT>', state: 'SECONDARY', health: 1, optimeDate: ISODate('<TIME>'), lagSeconds: <VALUE> },
  { name: 'mongo-c:<PORT>', state: 'SECONDARY', health: 1, optimeDate: ISODate('<TIME>'), lagSeconds: <VALUE> }
]
{
  logSizeMB: <VALUE>,
  usedMB: <VALUE>,
  timeDiff: <VALUE>,
  timeDiffHours: <VALUE>,
  tFirst: '<TIME>',
  tLast: '<TIME>',
  now: '<TIME>'
}

<PORT>、<TIME> 和 <VALUE> 会随部署与采样时刻变化。单次快照只能回答“现在怎样”,生产监控还应把最大 lag、oplog window 和状态变化做成连续指标。

按因果链定位 lag

如果 lag 只在写入峰值期间升高,峰值结束后很快回落,先比较 primary 的 oplog 产生速率与 secondary 的应用能力;如果 lag 持续爬升,则说明 secondary 长时间消费不过来。MongoDB 的排障文档也把网络连通性和 primary/secondary 资源不足列为复制问题的重要方向。:contentReference[oaicite:1]{index=1}

磁盘问题通常表现为 secondary 写延迟、I/O 等待或队列深度同步升高,复制应用速度下降。网络问题更常伴随跨可用区 RTT 增长、丢包、重传或成员心跳异常。写入峰值则会让 oplog 增长更快,导致相同容量的 oplog 覆盖时间缩短,因此需要把“lag 秒数”和“window 小时数”一起看。

修复后按同一标准验收

修复动作应针对瓶颈本身:磁盘饱和就提升 IOPS 或降低同盘竞争,网络异常就处理链路质量,持续写入峰值则评估写入模型与 oplog 容量。扩大 oplog 能增加追赶缓冲,但不会消除 secondary 本身处理不过来的根因。

验收时重新采集同样的快照,确认 secondary 的 lag 不再持续增长,成员保持 SECONDARY 且 health 正常,并且 oplog window 明显大于预期最长中断加最大日常 lag。若所需 oplog 已经被滚出窗口,单纯等待不会恢复增量追赶,应按复制集恢复流程评估重新同步。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

监控 Oplog 与复制延迟

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通