Redis 与缓存 / 系统课时

合并 HyperLogLog 统计

合并 HyperLogLog 统计

本课解决多个日期、渠道或分区分别统计后,如何得到去重总量的问题。你将使用多键 PFCOUNT 直接估算并集,并使用 PFMERGE 生成可复用的合并结果。

学习目标

  • 直接统计多个 HyperLogLog 的并集基数
  • 使用 PFMERGE 保存合并结果
  • 理解并集可计算但交集和差集受误差限制

两种合并方式

PFCOUNT key1 key2 ... 可以直接返回多个 HyperLogLog 并集的估算基数,不创建新键,适合一次性查询。

PFMERGE destination source1 source2 ... 会把合并结果写入目标键,适合后续反复查询、继续合并或设置独立生命周期。目标键原有内容会被覆盖。

合并移动端与网页端 UV

下面分别记录移动端和网页端用户。user:3 同时出现在两个来源中,合并后只计一次。

bash
redis-cli DEL demo:hll:mobile:0805 demo:hll:web:0805 demo:hll:all:0805 >/dev/null
redis-cli PFADD demo:hll:mobile:0805 user:1 user:2 user:3 >/dev/null
redis-cli PFADD demo:hll:web:0805 user:3 user:4 user:5 >/dev/null

redis-cli --raw PFCOUNT demo:hll:mobile:0805
redis-cli --raw PFCOUNT demo:hll:web:0805
redis-cli --raw PFCOUNT demo:hll:mobile:0805 demo:hll:web:0805
redis-cli --raw PFMERGE demo:hll:all:0805 demo:hll:mobile:0805 demo:hll:web:0805
redis-cli --raw PFCOUNT demo:hll:all:0805

预期输出:

text
3
3
5
OK
5

在这个小样本中,估算结果与真实值一致。数据规模增大后,结果可能在允许误差范围内偏高或偏低。

选择直接统计还是落盘

临时报表只查询一次时,直接对多个键执行 PFCOUNT 更简单。首页指标被高频读取时,可定时使用 PFMERGE 生成汇总键,避免每次合并大量来源。

多键 PFCOUNT 需要临时合并各来源,来源数量很多时不应放在高频请求链路。汇总键不会继承源键 TTL,应明确源键和目标键的保留周期,并使用独立目标键维护统计口径。

交集与差集边界

HyperLogLog 原生命令只擅长并集。虽然可以用“两个集合基数之和减并集基数”近似交集,但多个估算误差会叠加,小交集尤其容易失真。

需要准确渠道重合用户、交叉人群名单或单个用户归属时,应使用精确集合、Bitmap 或离线分析系统。HyperLogLog 适合回答“总体大约有多少”,不适合回答“具体是谁”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

合并 HyperLogLog 统计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通