P2P 与分布式存储 / 系统课时

虚拟节点怎样均衡分片负载

虚拟节点怎样均衡分片负载

三台存储服务器即使容量相同,也可能因为哈希环上的位置不同而承担悬殊的数据量。本课将用虚拟节点把连续的大区间拆成分散的小区间,并通过一段可运行的 Python 实验,观察负载变化和容量加权的效果。

学习目标

  • 解释令牌区间如何映射到物理节点,以及单令牌为什么容易倾斜。
  • 运行模拟,对比单令牌、多令牌与容量加权的对象分布。
  • 根据可用容量设置权重,判断虚拟节点数量的收益和代价。

单令牌为什么容易产生热点

一致性哈希把对象键和节点令牌映射到同一个环形哈希空间。查找对象时,从对象哈希位置顺时针寻找第一个令牌,令牌所属的物理节点就是该对象的负责人;超过环末尾则回到起点。某令牌负责的区间是“前一个令牌之后,到当前令牌为止”。

假设只有 A、B、C 三台机器,每台只拥有一个随机位置的令牌。即使三台都能存 4 TB,三个区间的长度也不一定各占三分之一;一台可能承担接近一半的键,另一台只承担一小部分。直接使用 hash(key) % 节点数 虽然看起来简单,但扩容改变除数会让大量键重新定位。

虚拟节点怎样拆散大区间

虚拟节点(vnode)不是额外的服务器,而是同一物理节点在哈希环上的多个令牌。例如 A 持有 A#0 至 A#3,B、C 也各持有四个;十二个令牌交错排列,每个物理节点从多个不连续的小区间接收对象。一个令牌仍然只指向一个物理节点,路由规则没有改变。

单令牌与虚拟节点的哈希环对比

令牌数量增加后,随机区间的长度通常更容易相互抵消,使容量相同的节点承担更接近的键数。但这只是统计改善:令牌位置若随机生成,64 个令牌也不能保证每台恰好得到三分之一。

运行实验观察分布

下面使用 Python 3.9 及以上版本。为避免 Python 内置 hash() 的进程随机化,示例用 SHA-256 的前 64 位生成稳定令牌。模拟 12,000 个等大小对象,只统计单副本的主负责人,不模拟网络、复制和真实磁盘容量。

python
from bisect import bisect_left
from collections import Counter
from hashlib import sha256

def token(text: str) -> int:
    return int.from_bytes(sha256(text.encode("utf-8")).digest()[:8], "big")

def count_objects(tokens_per_node: dict[str, int]) -> Counter:
    # 节点名与序号组成稳定的虚拟节点标识
    ring = sorted(
        (token(f"{node}#{i}"), node)
        for node, total in tokens_per_node.items()
        for i in range(total)
    )
    positions = [point for point, _ in ring]
    counts = Counter({node: 0 for node in tokens_per_node})
    for i in range(12_000):
        # 找到顺时针最近令牌,越界时回绕到环首
        key_token = token(f"obj-{i:05d}")
        owner = ring[bisect_left(positions, key_token) % len(ring)][1]
        counts[owner] += 1
    return counts

if __name__ == "__main__":
    scenarios = [
        ("单令牌", {"A": 1, "B": 1, "C": 1}),
        ("64令牌", {"A": 64, "B": 64, "C": 64}),
        ("容量2:1:1", {"A": 128, "B": 64, "C": 64}),
    ]
    for name, config in scenarios:
        result = count_objects(config)
        print(f"{name}: A={result['A']} B={result['B']} C={result['C']}")

预期输出:

text
单令牌: A=1564 B=5026 C=5410
64令牌: A=3946 B=4290 C=3764
容量2:1:1: A=5839 B=3211 C=2950

相同的 12,000 个键中,单令牌配置让 A 仅得到 13.0%,C 却得到 45.1%;各节点 64 个令牌后,A、B、C 分别得到约 32.9%、35.8%、31.4%。这次实验的差距明显缩小,但换一批对象键或令牌位置,结果仍会变化。

怎样把节点容量变成权重

若 A 的可用容量为 8 TB,B、C 各为 4 TB,目标占比分别为 50%、25%、25%。可先选一个共同基数 64,让 A 拥有 128 个令牌、B 和 C 各 64 个。实验得到 5,839、3,211、2,950 个对象,接近目标的 6,000、3,000、3,000 个。

在等大小且访问相近的对象上,令牌数与期望承载份额近似成正比;实际生产还要检查存储字节数、读写 QPS、磁盘 IOPS 和网络带宽。若 A 虽有两倍磁盘容量,却只有相同的网络吞吐能力,简单设置双倍权重可能把请求负载压到 A 上。虚拟节点也无法拆散单个超热对象键。

扩容时怎样控制迁移成本

从三台等权节点增加 D 时,可以保持 A、B、C 的既有令牌不变,只为 D 分配新令牌。此时只有新环上归 D 的那些区间需要交接;其他对象的主负责人不变。迁移期间应保存旧环和新环的路由版本,完成数据复制、增量追平和校验后再切换读写,避免新位置尚无数据就接收读取。

令牌越多,单个迁移区间通常越小,却也会增加令牌元数据、迁移任务和修复协作的数量。此处的 64 是演示参数,不是通用生产默认值;实际应按故障恢复时间、区间数量与副本布局压测选取。可参见 Apache Cassandra 的生产令牌建议,其取值还依赖令牌分配算法和部署规模。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

虚拟节点怎样均衡分片负载

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通