消息队列 / 系统课时
消息 ID 能不能直接完成去重
消息 ID 能不能直接完成去重
消息 ID 可以成为去重线索,但它本身并不等于可靠幂等。RabbitMQ 的 message_id 是消息属性中的可选标识,通常由发布端设置;如果重试、重新发布或上游补偿产生了新的 ID,同一业务动作仍可能绕过去重,所以最终还要依赖稳定的业务唯一键和持久化约束。
学习目标
- 理解 RabbitMQ
message_id能解决什么、不能解决什么 - 能识别“同一消息重投”和“同一业务重新发布”的差别
- 能把消息标识与业务唯一约束、持久化去重记录组合使用
message_id 不是自动生成的业务唯一键
在 AMQP 消息属性中,message_id 只是一个可选字段。RabbitMQ 不会替应用推导“这两条消息其实代表同一笔订单”这样的业务语义;发布者可以填写它,也可以不填。
因此,只有在发布端明确保证同一业务事件的所有重试、重发都复用同一个 ID 时,message_id 才能稳定支持去重。若应用重新构造消息时又生成一个新 UUID,消费者看到的就是两个不同 ID,即使它们都要求为同一个订单执行同一动作。

只按消息 ID 去重会留下缺口
下面的 PostgreSQL 示例模拟两个不同 message_id 指向同一个业务动作。第一张表只约束消息 ID,因此两条记录都能进入;第二张表再对 business_key 建唯一约束,才会把同一业务意图限制为一次。
DROP TABLE IF EXISTS message_only_dedup;
DROP TABLE IF EXISTS business_dedup;
CREATE TABLE message_only_dedup (
message_id TEXT PRIMARY KEY,
business_key TEXT NOT NULL
);
INSERT INTO message_only_dedup(message_id, business_key)
VALUES
('msg-a', 'order-20260919-001'),
('msg-b', 'order-20260919-001');
SELECT COUNT(*) AS accepted_rows
FROM message_only_dedup
WHERE business_key = 'order-20260919-001';
CREATE TABLE business_dedup (
message_id TEXT PRIMARY KEY,
business_key TEXT NOT NULL UNIQUE
);
INSERT INTO business_dedup(message_id, business_key)
VALUES ('msg-a', 'order-20260919-001');
INSERT INTO business_dedup(message_id, business_key)
VALUES ('msg-b', 'order-20260919-001')
ON CONFLICT (business_key) DO NOTHING;
SELECT COUNT(*) AS accepted_rows
FROM business_dedup
WHERE business_key = 'order-20260919-001';预期结果中,第一张表接受两行,而带业务唯一约束的第二张表只保留一行。
accepted_rows
---------------
2
accepted_rows
---------------
1这说明 message_id 最适合回答“我是否见过这条传输消息”,而业务唯一键回答“这个业务动作是否已经执行过”。两者可以同时保存:前者便于链路追踪和分析重复投递,后者负责阻止重复副作用。
哪些情况下 message_id 很有用
如果生产者采用 Outbox 等可靠发布模式,并把事件表中的稳定事件 ID 原样写入 message_id,那么消费者按该 ID 建唯一索引是可行的,因为这个事件 ID 本身已经具备业务稳定性。这里真正可靠的不是字段名叫 message_id,而是它背后的生成规则和持久化生命周期。
另外,message_id 很适合做日志关联、问题排查和消费记录索引。发生重复消费时,可以用它确认是否为 broker 重投;再结合 business_key 判断是否是上游重新发布了同一业务意图。
可靠去重需要持久化和原子性
无论最终选择 message_id、订单号还是支付流水号,只要去重状态只存在内存中,就经不起进程重启和多实例并发。可靠做法是把去重键落到具有唯一约束的数据库表、业务表或其他支持原子条件写入的持久化存储中。
同时,判重成功后的业务写入最好与去重记录处于同一事务边界。这样消息重复到达时,消费者可以安全地识别“已完成”并直接确认;业务执行失败时,则不会留下一个错误的“已经处理”标记。
因此,消息 ID 可以参与去重,但不要把“有 ID”误当成“天然幂等”。只有当这个 ID 对同一业务意图稳定不变,并且由持久化唯一约束原子保护时,它才真正具备可靠去重价值。