Redis 与缓存 / 系统课时
使用 HyperLogLog 估算基数
使用 HyperLogLog 估算基数
本课解决独立访客、唯一设备或搜索词数量过大,无法为每个元素保存完整集合的问题。你将使用 HyperLogLog 以固定小内存估算基数,并理解结果误差和不可枚举的限制。
学习目标
- 使用
PFADD添加待统计元素 - 使用
PFCOUNT获取基数估算值 - 判断 HyperLogLog 是否适合当前业务
基数估算的含义
基数是集合中不同元素的数量。HyperLogLog 不保存可读取的完整成员列表,而是根据元素哈希结果更新内部寄存器,再估算唯一元素数量。
单个 HyperLogLog 通常最多占约 12 KB,标准误差约为 0.81%。它适合趋势分析和大规模 UV 统计,不适合要求绝对精确的计费、库存或权益判断。
添加并统计唯一元素
下面加入四个不同用户,再重复加入其中两个用户。重复元素不会提高真实基数。
bash
redis-cli DEL demo:hll:uv:0804 >/dev/null
redis-cli --raw PFADD demo:hll:uv:0804 user:1 user:2 user:3 user:4
redis-cli --raw PFADD demo:hll:uv:0804 user:3 user:4
redis-cli --raw PFCOUNT demo:hll:uv:0804预期输出:
text
1
0
4PFADD 返回 1 表示内部寄存器发生变化,返回 0 表示没有变化。它不能作为“该用户此前是否出现过”的可靠判断,因为新元素也可能没有改变寄存器。
设计统计周期
日 UV 可使用 uv:page:{pageId}:{yyyyMMdd},月 UV 则应使用独立月键或合并日键。周期键需要设置 TTL,并确保迟到数据写入时仍能恢复正确过期时间。
元素应使用稳定标识。登录用户可使用用户 ID,匿名用户可使用经过隐私处理的设备或访客标识。不要把频繁变化的昵称或完整 URL 查询串直接作为元素。
不适用的需求
HyperLogLog 不能列出成员、判断某个成员是否存在,也不能删除单个元素。需要这些能力时,应使用 Set、Bitmap、数据库去重表或其他精确结构。
小数据量或强精确场景下,Set 更直观。数据量很大、只关心唯一数量且能接受小误差时,HyperLogLog 才能体现明显价值。
按自己的节奏,确认真正理解。