计算机网络 / 系统课时

多实例广播为什么会漏消息

多实例广播为什么会漏消息

单机广播通常只遍历本进程里的连接;一旦服务扩成多个实例,客户端会分散到不同进程,实例 A 看不到实例 B 的连接。本课用 Redis Pub/Sub 建立共享事件通道,让每个实例都能收到广播事件并转发给自己的客户端。

学习目标

  • 能解释多实例下本地连接表为什么导致广播缺口
  • 能用 Redis Pub/Sub 把事件同步到所有 WebSocket 实例
  • 能识别 Pub/Sub 不提供离线补发这一关键边界

漏消息发生在哪里

假设客户端甲连接到实例 A,客户端乙连接到实例 B。甲发送消息后,如果 A 只遍历自己的 wss.clients,它最多只能推给 A 上的连接;B 没收到事件,自然也不会通知乙。负载均衡是否使用粘性会话并不能修复这个缺口,因为问题是实例之间没有共享广播事件。

多实例本地广播与共享通道对比

正确的拆分方式是:每个实例只管理自己的 WebSocket 连接;需要广播时先把事件发布到共享通道;所有实例订阅同一通道,收到事件后再遍历自己的本地连接。这样连接不必搬到 Redis,跨实例共享的是“发生了什么”。

用 Redis Pub/Sub 串起所有实例

下面示例使用 ws 和 redis。发布连接与订阅连接必须分开;当前 node-redis 文档也明确说明,进入订阅模式的连接不能同时执行普通命令,因此常用 duplicate() 创建专用订阅连接。([Redis][2])

保存为 server.mjs,确保本机 Redis 已启动且项目已安装 ws、redis。每个实例通过环境变量使用不同端口与实例标识,Redis 地址默认是 redis://127.0.0.1:6379。

js
import http from "node:http";
import { WebSocketServer, WebSocket } from "ws";
import { createClient } from "redis";

const port = Number(process.env.PORT ?? 8080);
const instanceId = process.env.INSTANCE_ID ?? `pid-${process.pid}`;
const redisUrl = process.env.REDIS_URL ?? "redis://127.0.0.1:6379";
const channel = "chat:broadcast";

const publisher = createClient({ url: redisUrl });
const subscriber = publisher.duplicate();

publisher.on("error", (error) => console.error("redis publisher:", error));
subscriber.on("error", (error) => console.error("redis subscriber:", error));

await Promise.all([publisher.connect(), subscriber.connect()]);

const server = http.createServer();
const wss = new WebSocketServer({ server });

await subscriber.subscribe(channel, (rawMessage) => {
  const event = JSON.parse(rawMessage);
  const payload = JSON.stringify(event);

  // 每个实例只向自己持有的连接广播。
  for (const client of wss.clients) {
    if (client.readyState === WebSocket.OPEN) {
      client.send(payload);
    }
  }
});

wss.on("connection", (socket) => {
  socket.on("message", async (data) => {
    const event = {
      type: "chat.message",
      fromInstance: instanceId,
      body: data.toString(),
    };

    // 不直接本地广播,统一经过共享通道,避免跨实例遗漏。
    await publisher.publish(channel, JSON.stringify(event));
  });
});

server.listen(port, "0.0.0.0", () => {
  console.log(`instance=${instanceId} listening on port=${port}`);
});

预期输出

text
instance=<ID> listening on port=<PORT>

实际实例标识与端口由启动参数决定。启动两个进程,并让两个浏览器客户端分别连接不同实例后,从任一客户端发送消息,两个实例上的在线客户端都应收到相同 JSON 事件。

验证不是只看发送端

多实例问题最容易被“发送者自己能收到”掩盖。验收时应确认两个客户端确实落在不同实例,并观察接收端消息中的 fromInstance。若只在同一个实例内测试,即使 Redis 完全没工作,表面上也可能看不出架构缺口。

定位失败时按事件链路检查:发送实例是否执行了 PUBLISH,Redis 是否存在订阅者,另一实例是否持续订阅相同频道,最后才检查 WebSocket 本地连接状态。频道名、Redis 环境或订阅进程任一不一致,都会表现为“某些实例收不到”。

Pub/Sub 适合实时同步,不负责补历史

Redis Pub/Sub 是实时扇出而不是持久消息队列。官方文档明确说明其交付是 at-most-once:订阅者离线期间发布的消息不会在恢复后补发。([Redis][2]) 因此聊天历史、订单事件、审计记录这类不能丢的数据,应先写入数据库或持久事件流,再把 Pub/Sub 作为在线通知通道。

如果业务要求消费者重连后继续处理漏掉的事件,可以改用 Redis Streams、Kafka 等支持持久化和消费进度的方案。无论选择哪种中间件,核心原则都相同:WebSocket 连接仍属于各实例本地资源,跨实例广播必须经过所有实例都能观察到的共享事件通道。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多实例广播为什么会漏消息

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通