大数据与流处理 / 系统课时

设计分片键

设计分片键

分片键决定写入数据落到哪个 shard,也决定后续查询能否把请求限制在少量分片。本课用多租户事件表做例子,从查询路由、数据均衡和热点风险三个维度选择 sharding key,并用实际查询检查分片分布是否符合预期。

学习目标

  • 能从高频过滤条件和数据分布中筛选合适的分片键候选
  • 能为 Distributed 表配置稳定的 sharding key,并理解它与 ORDER BY 的职责差异
  • 能通过各分片行数验证均衡性并识别热点风险

先从查询路由决定候选键

分片键不是“基数越高越好”。更实用的顺序是先看最常见的查询入口,再检查这些键是否足够均匀、稳定。若大多数请求都带 tenant_id,把同一租户稳定映射到同一 shard,可以让按租户查询具备分片裁剪条件;若业务几乎只按时间范围查询,单独使用租户键就无法减少这类查询的 fan-out。

还要检查数据倾斜。高基数键经过哈希后通常更容易均匀,但如果一个超大租户占据大部分数据,即使使用 intHash64(tenant_id),这个租户的全部数据仍会集中到一个 shard。低基数且分布不均的 region、status 一类字段,更容易把写入和查询压力压到少数分片。

分片键设计从查询模式到数据落点的决策关系

在 Distributed 表中固定路由表达式

下面是片段示例,假设已经存在一个 4 shard、每 shard 1 replica 的 analytics_cluster,并允许执行 ON CLUSTER DDL。先建立本地表,再让分布式表使用 intHash64(tenant_id) 作为 sharding key。

sql
CREATE DATABASE IF NOT EXISTS analytics ON CLUSTER analytics_cluster;

CREATE TABLE IF NOT EXISTS analytics.events_local ON CLUSTER analytics_cluster
(
    tenant_id UInt64,
    event_time DateTime,
    event_type LowCardinality(String)
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(event_time)
ORDER BY (tenant_id, event_time);

CREATE TABLE IF NOT EXISTS analytics.events_all ON CLUSTER analytics_cluster
AS analytics.events_local
ENGINE = Distributed(
    'analytics_cluster',
    'analytics',
    'events_local',
    intHash64(tenant_id)
);

这段配置的生效行为是:向 events_all 写入时,协调节点计算 intHash64(tenant_id) 并据此选择 shard;同一 tenant_id 会得到稳定的路由结果。ORDER BY (tenant_id, event_time) 只负责单个 shard 内的数据排序和稀疏主索引裁剪,两者不要混为一谈。

可用 SHOW CREATE TABLE 检查分布式表是否保存了预期表达式。

sql
SHOW CREATE TABLE analytics.events_all;

预期输出中应包含下面的关键部分,实际换行和 UUID 等细节可能不同。

text
ENGINE = Distributed('analytics_cluster', 'analytics', 'events_local', intHash64(tenant_id))

用数据分布验证而不是凭感觉判断

分片键上线前至少要灌入一批具有真实租户分布特征的数据,再从分布式表统计每个 shard 实际承载的行数。hostName() 在远端执行,因此在每个 shard 只有 1 个 replica 的测试集群中,可以直接看到各 shard 对应主机的行数。

sql
SELECT
    hostName() AS host,
    count() AS rows
FROM analytics.events_all
GROUP BY host
ORDER BY host;

预期输出应出现 4 个主机,行数不要求完全一致,但不应有单个 shard 长期占据绝大多数数据。

text
<HOST_1>    <COUNT_1>
<HOST_2>    <COUNT_2>
<HOST_3>    <COUNT_3>
<HOST_4>    <COUNT_4>

实际值会随测试数据变化。除了看总行数,还应按天或小时重复统计,因为“总体均匀”可能掩盖某个时间窗口的写入热点。若最大 shard 长期是最小 shard 的数倍,应回到租户体量、热点值和业务查询模式重新评估。

处理热点与变更边界

如果少数大租户造成明显热点,不能只通过再套一层哈希解决,因为只要仍要求“一个租户只落一个 shard”,这个大租户就不会被拆开。真正的选择是接受单租户局部性,还是引入额外 bucket 把一个租户拆到多个 shard;后者会改善均衡,却会让按租户查询重新访问多个 shard。

分片键也应尽量选择稳定字段。修改 Distributed 表的 sharding key 只会影响之后按新表达式路由的数据,不会自动搬迁已经存在于各本地表的数据。如果此时直接按新 key 开启分片裁剪,旧数据还可能被错误跳过,造成结果不完整。生产环境需要把“重新分片”当作一次数据迁移:新建目标布局、回填历史数据、校验分布和查询结果,再切换读写入口;迁移完成前不要依据新 key 对旧布局做裁剪。

最终可用一个简单原则收敛选择:优先让高频查询能从过滤条件推导 shard,同时保证数据和写入压力足够均匀;当“查询局部性”和“热点拆分”冲突时,先用真实流量数据量化代价,再决定是否牺牲单 shard 路由。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计分片键

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通