消息队列 / 系统课时

保留策略与日志压缩

保留策略与日志压缩

Kafka 的“清理旧数据”有两种完全不同的目标:删除策略控制日志能保留多久或多大,Log Compaction 则按 key 保留较新的状态。本篇用事件日志与状态主题两个场景区分它们,并给出可验证的 topic 级配置方式。

学习目标

  • 区分 delete、compact 与 compact,delete 三种 cleanup.policy
  • 理解 retention.ms、retention.bytes 与 segment 删除之间的关系
  • 能为事件流、状态快照和 changelog 选择合理清理策略

删除策略解决“历史保留多久”

cleanup.policy=delete 适合审计事件、埋点、日志采集这类“每条记录本身就是历史事实”的主题。Kafka 根据时间或容量判断旧 segment 是否可删除:retention.ms 控制时间窗口,retention.bytes 控制每个分区可保留的日志容量上限。

删除不是精确到单条消息的即时操作。Kafka 以 segment 为主要清理单位,所以旧记录即使已经超过时间窗口,只要仍与较新的记录处在同一个活跃段中,也不会立刻从文件中消失。通过合理的 segment 滚动大小或时间,可以控制“过期判定”和“物理删除”之间的粒度。

Log Compaction 解决“每个 key 的最新状态是什么”

cleanup.policy=compact 适合账户状态、设备最新配置、数据库 changelog 等按 key 表示实体状态的主题。Cleaner 会在可清理的旧 segment 中比较相同 key 的多次更新,尽量移除更旧的值,使日志长期保留每个 key 的较新状态。

Compaction 不是去重器,也不保证任意时刻磁盘上只剩一条同 key 记录。活跃段和尚未被 Cleaner 处理的脏数据仍可能包含多个版本;消费者也必须按正常 offset 顺序读取,不能假设 offset 连续无缺口。

当某个 key 写入 null value 时,这条记录通常作为 tombstone 表示删除状态。Cleaner 需要把 tombstone 保留一段时间,让落后的消费者有机会看到删除事件;delete.retention.ms 就是这个窗口的重要控制项。

Kafka 删除保留与 Log Compaction 的差异

用 topic 配置验证组合策略

下面把一个状态类主题配置为 compact,delete:既按 key 压缩旧版本,又限制历史 segment 的最长保留时间。示例还把 segment 滚动周期设得较短,便于测试环境更快看到非活跃段进入清理范围。

bash
bin/kafka-configs.sh --bootstrap-server <HOST>:<PORT> \
  --entity-type topics \
  --entity-name <TOPIC> \
  --alter \
  --add-config 'cleanup.policy=[compact,delete],retention.ms=604800000,segment.ms=3600000,min.cleanable.dirty.ratio=0.5'

bin/kafka-configs.sh --bootstrap-server <HOST>:<PORT> \
  --entity-type topics \
  --entity-name <TOPIC> \
  --describe

预期输出示例:

text
Completed updating config for topic <TOPIC>.
cleanup.policy=compact,delete
min.cleanable.dirty.ratio=0.5
retention.ms=604800000
segment.ms=3600000

不同 Kafka 版本的描述文本顺序和前缀可能不同,但应能看到这些 topic 级动态配置。604800000 毫秒等于 7 天;测试完成后应根据真实恢复窗口、磁盘预算和消费者最大离线时间重新设定,而不是直接照搬。

怎样为主题选择策略

纯事件主题通常选 delete,因为业务关心完整时间窗口内的每一条事件;只要评估磁盘容量、合规保留期和消费者回放需求即可。状态主题通常选 compact,因为业务更关心“每个 key 最终是什么值”,并希望新消费者从日志重建最新状态。

如果既要保留 key 的最新状态,又不希望某个已经长期不再更新的 key 永久占用日志,可以考虑 compact,delete。此时必须接受一个事实:超过删除保留窗口的整个 segment 仍可能被移除,所以它不等同于“永久保留每个 key 的最终值”。

判断策略时先问“我要保留完整历史,还是保留按 key 的可重建状态”。前者围绕时间和容量设计,后者围绕 key、tombstone 与消费者恢复窗口设计;只有这两个目标同时存在时,才需要组合 compact,delete。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保留策略与日志压缩

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通