Redis 与缓存 / 系统课时

设计标签与去重功能

设计标签与去重功能

本课把 Set 应用于三个实际功能:内容标签关联、唯一访问者统计和重复事件过滤。完成后,你将能利用“成员唯一、写入原子、可快速判断存在”这三个特性设计清晰、可维护的 Redis 键结构。

学习目标

  • 使用双向 Set 建立标签与内容关联。
  • 使用 SADD 和 SCARD 统计精确唯一访问者。
  • 根据 SADD 返回值实现并发安全的重复过滤。

标签关联的双向索引

标签查询通常有两个方向:查看某篇文章有哪些标签,以及查看某个标签关联了哪些文章。为了避免全量扫描,应分别维护 article:<id>:tags 和 tag:<name>:articles 两类集合。

新增或删除标签时,两侧索引必须同步更新。单条命令只能保证单个 Set 的原子性;需要两侧同时成功时,应使用事务或 Lua 脚本维护一致性。

Set 支撑标签、UV 与去重的数据结构图

唯一访问者与重复过滤

精确 UV 可把访问者 ID 写入按页面、日期或活动拆分的 Set,再通过 SCARD 获取去重人数。相同用户重复访问时,SADD 返回 0,成员数量不会增加。

事件去重同样利用 SADD 的原子返回值:首次写入事件 ID 返回 1,应用继续处理;重复写入返回 0,应用直接跳过。去重键应设置覆盖最长重试窗口的 TTL。

主示例:验证三种设计

下面用一组命令同时验证双向标签、精确 UV 和事件去重。SMEMBERS 的顺序不固定,因此通过 sort 固定展示。

bash
redis-cli --raw DEL article:1001:tags tag:redis:articles article:1001:uv dedupe:20260730 >/dev/null
redis-cli --raw SADD article:1001:tags redis cache
redis-cli --raw SADD tag:redis:articles 1001
redis-cli --raw SMEMBERS article:1001:tags | sort
redis-cli --raw SISMEMBER tag:redis:articles 1001
redis-cli --raw SADD article:1001:uv user:9001
redis-cli --raw SADD article:1001:uv user:9001
redis-cli --raw SADD article:1001:uv user:9002
redis-cli --raw SCARD article:1001:uv
redis-cli --raw SADD dedupe:20260730 event:001
redis-cli --raw SADD dedupe:20260730 event:001
redis-cli --raw EXPIRE dedupe:20260730 86400

预期输出

text
2
1
cache
redis
1
1
0
1
2
1
0
1

第二次写入 user:9001 和 event:001 都返回 0。示例日期应替换为实际业务日期,TTL 也应根据消息重试、补偿和人工重放窗口确定。

设计边界

标签集合通常长期保存;UV 和去重集合应按天、活动或业务批次拆分并设置 TTL,避免单个永久大 Set 无限增长。

Set 只能表达“成员是否存在”,不能保存访问时间、次数或标签权重。需要这些属性时,应与 Hash、Sorted Set 或数据库记录组合。超大规模 UV 若允许近似统计,可改用 HyperLogLog 降低内存占用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计标签与去重功能

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通