Redis 与缓存 / 系统课时
执行主节点故障转移
执行主节点故障转移
本课在一主一从、三 Sentinel 的实验环境中停止当前主节点,观察从故障判定到副本提升的全过程,并验证新主可写、旧主恢复后转为副本。
学习目标
- 识别故障转移的关键阶段
- 验证副本被提升为新主节点
- 检查旧主恢复后的角色与复制方向
故障转移前检查
本课沿用 /tmp/redis-ha 下的实验配置。执行破坏性操作前,先确认当前主节点、复制链路和 Sentinel 法定人数均正常。
bash
redis-cli --raw -p 26379 SENTINEL get-master-addr-by-name mymaster | paste -sd:
redis-cli -p 6380 INFO replication | grep -E "^(role|master_link_status):"
redis-cli --raw -p 26379 SENTINEL CKQUORUM mymaster预期输出:
text
127.0.0.1:6379
role:slave
master_link_status:up
OK <USABLE_SENTINELS> usable Sentinels. Quorum and failover authorization can be reached只有三项检查都通过,才适合继续演练。SHUTDOWN NOSAVE 会放弃尚未持久化的数据,只能用于可丢弃的实验环境。

停止旧主并等待切换
下面脚本停止 6379,并在 30 秒内轮询 Sentinel,直到主节点地址变为 6380。实际耗时受 down-after-milliseconds 和选举过程影响。
bash
set -euo pipefail
before=$(redis-cli --raw -p 26379 SENTINEL get-master-addr-by-name mymaster | paste -sd:)
printf 'before=%s\n' "$before"
redis-cli -p 6379 SHUTDOWN NOSAVE || true
after=
for _ in $(seq 1 30); do
after=$(redis-cli --raw -p 26379 SENTINEL get-master-addr-by-name mymaster 2>/dev/null | paste -sd:)
if [ "$after" = "127.0.0.1:6380" ]; then
break
fi
sleep 1
done
test "$after" = "127.0.0.1:6380"
printf 'after=%s\n' "$after"
redis-cli -p 6380 SET failover:test ok
redis-cli --raw -p 6380 GET failover:test预期输出:
text
before=127.0.0.1:6379
after=127.0.0.1:6380
OK
ok若 30 秒内没有切换,不要直接修改数据。应检查 CKQUORUM、Sentinel 日志、候选副本状态和网络连通性。
查看关键事件
Sentinel 日志会记录从下线到切换的事件。时间戳、进程 ID 和附加字段因版本而异,因此只筛选事件名称:
bash
grep -E '\+sdown|\+odown|\+promoted-slave|\+switch-master' \
/tmp/redis-ha/sentinel-26379/sentinel.log预期结果应至少依次包含这些事件:
text
<LOG_PREFIX> +sdown master mymaster 127.0.0.1 6379
<LOG_PREFIX> +odown master mymaster 127.0.0.1 6379 <EXTRA_FIELDS>
<LOG_PREFIX> +promoted-slave <REPLICA_FIELDS>
<LOG_PREFIX> +switch-master mymaster 127.0.0.1 6379 127.0.0.1 6380+sdown 与 +odown 表示故障判断,+promoted-slave 表示候选副本完成提升,+switch-master 表示监控组已更新主节点地址。
恢复旧主并验证角色
重新启动 6379 后,Sentinel 会把它改为 6380 的副本。下面脚本最多等待 20 秒,直到角色转换完成:
bash
redis-server /tmp/redis-ha/redis-master.conf
for _ in $(seq 1 20); do
role=$(redis-cli --raw -p 6379 INFO replication 2>/dev/null | awk -F: '/^role:/{sub(/\r$/,"",$2); print $2}')
master_port=$(redis-cli --raw -p 6379 INFO replication 2>/dev/null | awk -F: '/^master_port:/{sub(/\r$/,"",$2); print $2}')
if [ "$role" = "slave" ] && [ "$master_port" = "6380" ]; then
break
fi
sleep 1
done
printf 'role=%s\nmaster_port=%s\n' "$role" "$master_port"预期输出:
text
role=slave
master_port=6380切换窗口内客户端可能遇到超时、连接关闭或 READONLY。客户端必须支持重新发现,并且只对幂等或带幂等标识的操作执行有限重试。
按自己的节奏,确认真正理解。