Redis 与缓存 / 系统课时
合并 HyperLogLog 统计
合并 HyperLogLog 统计
本课解决多个日期、渠道或分区分别统计后,如何得到去重总量的问题。你将使用多键 PFCOUNT 直接估算并集,并使用 PFMERGE 生成可复用的合并结果。
学习目标
- 直接统计多个 HyperLogLog 的并集基数
- 使用
PFMERGE保存合并结果 - 理解并集可计算但交集和差集受误差限制
两种合并方式
PFCOUNT key1 key2 ... 可以直接返回多个 HyperLogLog 并集的估算基数,不创建新键,适合一次性查询。
PFMERGE destination source1 source2 ... 会把合并结果写入目标键,适合后续反复查询、继续合并或设置独立生命周期。目标键原有内容会被覆盖。
合并移动端与网页端 UV
下面分别记录移动端和网页端用户。user:3 同时出现在两个来源中,合并后只计一次。
bash
redis-cli DEL demo:hll:mobile:0805 demo:hll:web:0805 demo:hll:all:0805 >/dev/null
redis-cli PFADD demo:hll:mobile:0805 user:1 user:2 user:3 >/dev/null
redis-cli PFADD demo:hll:web:0805 user:3 user:4 user:5 >/dev/null
redis-cli --raw PFCOUNT demo:hll:mobile:0805
redis-cli --raw PFCOUNT demo:hll:web:0805
redis-cli --raw PFCOUNT demo:hll:mobile:0805 demo:hll:web:0805
redis-cli --raw PFMERGE demo:hll:all:0805 demo:hll:mobile:0805 demo:hll:web:0805
redis-cli --raw PFCOUNT demo:hll:all:0805预期输出:
text
3
3
5
OK
5在这个小样本中,估算结果与真实值一致。数据规模增大后,结果可能在允许误差范围内偏高或偏低。
选择直接统计还是落盘
临时报表只查询一次时,直接对多个键执行 PFCOUNT 更简单。首页指标被高频读取时,可定时使用 PFMERGE 生成汇总键,避免每次合并大量来源。
多键 PFCOUNT 需要临时合并各来源,来源数量很多时不应放在高频请求链路。汇总键不会继承源键 TTL,应明确源键和目标键的保留周期,并使用独立目标键维护统计口径。
交集与差集边界
HyperLogLog 原生命令只擅长并集。虽然可以用“两个集合基数之和减并集基数”近似交集,但多个估算误差会叠加,小交集尤其容易失真。
需要准确渠道重合用户、交叉人群名单或单个用户归属时,应使用精确集合、Bitmap 或离线分析系统。HyperLogLog 适合回答“总体大约有多少”,不适合回答“具体是谁”。
按自己的节奏,确认真正理解。