Redis 与缓存 / 系统课时

执行主节点故障转移

执行主节点故障转移

本课在一主一从、三 Sentinel 的实验环境中停止当前主节点,观察从故障判定到副本提升的全过程,并验证新主可写、旧主恢复后转为副本。

学习目标

  • 识别故障转移的关键阶段
  • 验证副本被提升为新主节点
  • 检查旧主恢复后的角色与复制方向

故障转移前检查

本课沿用 /tmp/redis-ha 下的实验配置。执行破坏性操作前,先确认当前主节点、复制链路和 Sentinel 法定人数均正常。

bash
redis-cli --raw -p 26379 SENTINEL get-master-addr-by-name mymaster | paste -sd:
redis-cli -p 6380 INFO replication | grep -E "^(role|master_link_status):"
redis-cli --raw -p 26379 SENTINEL CKQUORUM mymaster

预期输出:

text
127.0.0.1:6379
role:slave
master_link_status:up
OK <USABLE_SENTINELS> usable Sentinels. Quorum and failover authorization can be reached

只有三项检查都通过,才适合继续演练。SHUTDOWN NOSAVE 会放弃尚未持久化的数据,只能用于可丢弃的实验环境。

Sentinel 故障转移时序

停止旧主并等待切换

下面脚本停止 6379,并在 30 秒内轮询 Sentinel,直到主节点地址变为 6380。实际耗时受 down-after-milliseconds 和选举过程影响。

bash
set -euo pipefail

before=$(redis-cli --raw -p 26379 SENTINEL get-master-addr-by-name mymaster | paste -sd:)
printf 'before=%s\n' "$before"

redis-cli -p 6379 SHUTDOWN NOSAVE || true

after=
for _ in $(seq 1 30); do
  after=$(redis-cli --raw -p 26379 SENTINEL get-master-addr-by-name mymaster 2>/dev/null | paste -sd:)
  if [ "$after" = "127.0.0.1:6380" ]; then
    break
  fi
  sleep 1
done

test "$after" = "127.0.0.1:6380"
printf 'after=%s\n' "$after"
redis-cli -p 6380 SET failover:test ok
redis-cli --raw -p 6380 GET failover:test

预期输出:

text
before=127.0.0.1:6379
after=127.0.0.1:6380
OK
ok

若 30 秒内没有切换,不要直接修改数据。应检查 CKQUORUM、Sentinel 日志、候选副本状态和网络连通性。

查看关键事件

Sentinel 日志会记录从下线到切换的事件。时间戳、进程 ID 和附加字段因版本而异,因此只筛选事件名称:

bash
grep -E '\+sdown|\+odown|\+promoted-slave|\+switch-master' \
  /tmp/redis-ha/sentinel-26379/sentinel.log

预期结果应至少依次包含这些事件:

text
<LOG_PREFIX> +sdown master mymaster 127.0.0.1 6379
<LOG_PREFIX> +odown master mymaster 127.0.0.1 6379 <EXTRA_FIELDS>
<LOG_PREFIX> +promoted-slave <REPLICA_FIELDS>
<LOG_PREFIX> +switch-master mymaster 127.0.0.1 6379 127.0.0.1 6380

+sdown 与 +odown 表示故障判断,+promoted-slave 表示候选副本完成提升,+switch-master 表示监控组已更新主节点地址。

恢复旧主并验证角色

重新启动 6379 后,Sentinel 会把它改为 6380 的副本。下面脚本最多等待 20 秒,直到角色转换完成:

bash
redis-server /tmp/redis-ha/redis-master.conf

for _ in $(seq 1 20); do
  role=$(redis-cli --raw -p 6379 INFO replication 2>/dev/null | awk -F: '/^role:/{sub(/\r$/,"",$2); print $2}')
  master_port=$(redis-cli --raw -p 6379 INFO replication 2>/dev/null | awk -F: '/^master_port:/{sub(/\r$/,"",$2); print $2}')
  if [ "$role" = "slave" ] && [ "$master_port" = "6380" ]; then
    break
  fi
  sleep 1
done

printf 'role=%s\nmaster_port=%s\n' "$role" "$master_port"

预期输出:

text
role=slave
master_port=6380

切换窗口内客户端可能遇到超时、连接关闭或 READONLY。客户端必须支持重新发现,并且只对幂等或带幂等标识的操作执行有限重试。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行主节点故障转移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通