消息队列 / 系统课时
保留策略与日志压缩
保留策略与日志压缩
Kafka 的“清理旧数据”有两种完全不同的目标:删除策略控制日志能保留多久或多大,Log Compaction 则按 key 保留较新的状态。本篇用事件日志与状态主题两个场景区分它们,并给出可验证的 topic 级配置方式。
学习目标
- 区分
delete、compact与compact,delete三种cleanup.policy - 理解
retention.ms、retention.bytes与 segment 删除之间的关系 - 能为事件流、状态快照和 changelog 选择合理清理策略
删除策略解决“历史保留多久”
cleanup.policy=delete 适合审计事件、埋点、日志采集这类“每条记录本身就是历史事实”的主题。Kafka 根据时间或容量判断旧 segment 是否可删除:retention.ms 控制时间窗口,retention.bytes 控制每个分区可保留的日志容量上限。
删除不是精确到单条消息的即时操作。Kafka 以 segment 为主要清理单位,所以旧记录即使已经超过时间窗口,只要仍与较新的记录处在同一个活跃段中,也不会立刻从文件中消失。通过合理的 segment 滚动大小或时间,可以控制“过期判定”和“物理删除”之间的粒度。
Log Compaction 解决“每个 key 的最新状态是什么”
cleanup.policy=compact 适合账户状态、设备最新配置、数据库 changelog 等按 key 表示实体状态的主题。Cleaner 会在可清理的旧 segment 中比较相同 key 的多次更新,尽量移除更旧的值,使日志长期保留每个 key 的较新状态。
Compaction 不是去重器,也不保证任意时刻磁盘上只剩一条同 key 记录。活跃段和尚未被 Cleaner 处理的脏数据仍可能包含多个版本;消费者也必须按正常 offset 顺序读取,不能假设 offset 连续无缺口。
当某个 key 写入 null value 时,这条记录通常作为 tombstone 表示删除状态。Cleaner 需要把 tombstone 保留一段时间,让落后的消费者有机会看到删除事件;delete.retention.ms 就是这个窗口的重要控制项。

用 topic 配置验证组合策略
下面把一个状态类主题配置为 compact,delete:既按 key 压缩旧版本,又限制历史 segment 的最长保留时间。示例还把 segment 滚动周期设得较短,便于测试环境更快看到非活跃段进入清理范围。
bin/kafka-configs.sh --bootstrap-server <HOST>:<PORT> \
--entity-type topics \
--entity-name <TOPIC> \
--alter \
--add-config 'cleanup.policy=[compact,delete],retention.ms=604800000,segment.ms=3600000,min.cleanable.dirty.ratio=0.5'
bin/kafka-configs.sh --bootstrap-server <HOST>:<PORT> \
--entity-type topics \
--entity-name <TOPIC> \
--describe预期输出示例:
Completed updating config for topic <TOPIC>.
cleanup.policy=compact,delete
min.cleanable.dirty.ratio=0.5
retention.ms=604800000
segment.ms=3600000不同 Kafka 版本的描述文本顺序和前缀可能不同,但应能看到这些 topic 级动态配置。604800000 毫秒等于 7 天;测试完成后应根据真实恢复窗口、磁盘预算和消费者最大离线时间重新设定,而不是直接照搬。
怎样为主题选择策略
纯事件主题通常选 delete,因为业务关心完整时间窗口内的每一条事件;只要评估磁盘容量、合规保留期和消费者回放需求即可。状态主题通常选 compact,因为业务更关心“每个 key 最终是什么值”,并希望新消费者从日志重建最新状态。
如果既要保留 key 的最新状态,又不希望某个已经长期不再更新的 key 永久占用日志,可以考虑 compact,delete。此时必须接受一个事实:超过删除保留窗口的整个 segment 仍可能被移除,所以它不等同于“永久保留每个 key 的最终值”。
判断策略时先问“我要保留完整历史,还是保留按 key 的可重建状态”。前者围绕时间和容量设计,后者围绕 key、tombstone 与消费者恢复窗口设计;只有这两个目标同时存在时,才需要组合 compact,delete。