架构与系统设计 / 系统课时

设计分片路由与元数据更新

设计分片路由与元数据更新

把数据分成多个分片只是第一步,真正困难的是让请求始终找到正确分片,并在迁移、扩容或故障后及时切换到新位置。本篇从三种常见路由架构出发,建立带版本号的路由元数据模型,并处理缓存刷新、并发更新和旧路由失效问题。

学习目标

  • 比较客户端路由、代理路由和目录服务三种方案的适用边界
  • 设计带版本号的路由元数据缓存与更新协议
  • 处理扩容迁移期间旧路由、并发刷新和短暂不一致

路由层究竟负责什么

分片路由的输入通常是分片键,例如 user_id,输出则是目标分片或目标节点。只要映射永远不变,客户端本地计算即可;但生产系统还会发生节点扩缩容、分片迁移、副本切换和故障摘除,因此路由实际上依赖一份不断变化的元数据。

常见架构有三种。客户端路由把映射缓存到应用进程,少一次网络跳转、延迟最低,但所有客户端都要正确处理刷新。代理路由把判断集中在 Proxy,客户端简单,却增加一跳并可能形成代理瓶颈。目录服务则保存权威映射,客户端或代理查询后本地缓存,适合路由规则频繁变化且需要统一控制的系统。

客户端、代理与目录服务三种分片路由架构

如果服务实例很多、发布版本不一致,通常不应把完整映射硬编码进业务代码。更稳妥的边界是:路由算法负责解释元数据,目录服务负责发布元数据,缓存只负责降低查询成本。

用版本号约束元数据更新

假设系统把哈希槽 0..1023 分配给不同分片。目录服务可以发布一份不可变快照,每次变更生成更大的 version。客户端只接受版本更高的快照,这能防止网络乱序让新路由被旧响应覆盖。

下面的 Python 示例模拟客户端缓存路由表,并拒绝回退到旧版本:

python
from dataclasses import dataclass

@dataclass(frozen=True)
class RouteTable:
    version: int
    ranges: tuple[tuple[int, int, str], ...]

class RouteCache:
    def __init__(self) -> None:
        self.table = RouteTable(0, ())

    def update(self, candidate: RouteTable) -> bool:
        # 只允许版本单调递增,避免乱序响应覆盖新路由。
        if candidate.version <= self.table.version:
            return False
        self.table = candidate
        return True

    def locate(self, slot: int) -> str:
        for start, end, shard in self.table.ranges:
            if start <= slot <= end:
                return shard
        raise KeyError(f"no route for slot {slot}")

cache = RouteCache()
cache.update(RouteTable(7, ((0, 511, "shard-a"), (512, 1023, "shard-b"))))
print(cache.locate(700))
print(cache.update(RouteTable(6, ((0, 1023, "shard-old"),))))
print(cache.table.version)

预期输出:

text
shard-b
False
7

这里只比较版本号还不够。目录服务应保证某个版本对应完整、自洽的路由快照,而不是让客户端依次读取多条正在修改的记录,否则一次刷新可能同时看到新旧两批映射。

在迁移期间让旧路由安全失效

扩容时,假设槽 512..767 正从 shard-b 迁移到 shard-c。目录服务发布版本 8 后,不可能要求所有客户端瞬间完成刷新,因此系统必须允许短时间内同时存在版本 7 和版本 8。

分片迁移期间的路由版本更新与失效流程

常见的安全做法是让旧分片在迁移窗口内保留一段转发或重定向能力。请求命中旧位置时,节点返回“目标已移动”和当前路由版本,客户端立即刷新再重试,而不是只依赖固定 TTL 等待缓存自然过期。

缓存失效通常要组合三种机制:正常情况下靠 TTL 控制最大陈旧时间;目录服务变更时主动推送版本通知;请求被旧节点拒绝或重定向时触发按需刷新。三者组合后,即使推送丢失,也仍有 TTL 和请求反馈兜底。

控制刷新风暴与目录服务压力

当大量客户端同时发现版本过期时,如果全部立即查询目录服务,会形成刷新风暴。客户端可以采用 single-flight:同一进程只允许一个协程刷新,其余请求等待同一结果;跨进程则通过随机抖动让 TTL 不在同一时刻到期。

目录服务自身也应优先提供按版本读取的不可变快照,并允许客户端发送 knownVersion。如果版本没有变化,只返回“未更新”即可,不必重复传输完整路由表。

最后可以用三条规则检查设计是否闭环:任意请求都能根据当前或稍旧的路由到达可处理它的节点;客户端永远不会把较新版本覆盖成较旧版本;即使通知丢失,系统也存在 TTL、重定向或重试路径让缓存最终收敛。满足这三点,分片路由才不仅是一个哈希函数,而是一套能够随拓扑变化安全演进的控制机制。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计分片路由与元数据更新

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通