架构与系统设计 / 系统课时

事务消息适合哪些业务

事务消息适合哪些业务

订单已经确认,消息却没有发出;或者消息已经送达,订单事务却回滚。本文用半消息与事务回查解释怎样处理这类生产端双写问题,并帮助你判断哪些业务值得为此依赖中间件的事务能力。

学习目标

  • 区分生产端事务一致性与跨服务整体成功。
  • 解释半消息、二次确认和事务回查各自负责什么。
  • 根据结果记录、异步容忍度和恢复窗口判断是否适合采用事务消息。

先确认要保证哪一段一致性

本课以 RocketMQ 5.x 的事务消息为例:它协调的是生产者本地事务结果与消息是否可投递,不是把所有服务放进一个全局事务。消费者执行失败,不会自动撤销生产者已经提交的订单。([RocketMQ][1])

下面按“核心结果已经确定,下游允许异步完成”判断适用性;即使采用事务消息,也不能省略下游的失败恢复。([RocketMQ][1])

业务要求 判断 原因
订单确认后增加积分 适合 订单结果可查询,积分允许稍后到账
更新商品后同步搜索索引 适合 索引允许短暂延迟
返回成功前,扣款与锁库存必须全部成功 单靠它不够 消息可投递不代表所有服务已完成
等待数天审批后才决定提交 不宜长期保留半消息 审批完成后再开启短事务发布事件

半消息如何处理结果不确定

生产者先发送半消息,Broker 确认保存后,再执行业务本地事务。半消息并不是内容发了一半,而是暂时不能投递。本地事务提交后通知 COMMIT;确定终止后通知 ROLLBACK。([RocketMQ][1])

二次确认丢失或结果为 UNKNOWN 时,Broker 会按机制回查生产者。生产者查询对应本地事务的结果,再返回决定;Broker 不会替业务直接查询数据库。仍在执行的事务应保持 UNKNOWN。([RocketMQ][1])

半消息在本地事务完成后确认,二次确认丢失时由事务回查恢复

这里的 ROLLBACK 撤销的是半消息的投递资格,不是倒退一个已提交的数据库事务。因此,不能因为发送 COMMIT 时网络报错,就把已经成功的本地业务判成失败。

回查要读取历史结果,而不是当前猜测

本例为每次业务操作分配稳定的 operation_id,重试继续使用同一个键。订单变化与 tx_result 中的成功结果一起提交;回查只读已提交结果,不重新创建订单。稳定请求标识与业务修改的原子记录,也是安全重试的基础。([Amazon Web Services, Inc.][2])

以下是完整的本地判定实验,不是 RocketMQ SDK 接入代码。使用带 sqlite3 的 Python 3.11 或更高版本运行;内存数据库仅供演示,生产要使用持久化数据库。<ID> 及其后缀是测试占位,实际操作标识会不同。([Python documentation][3])

python
import sqlite3
from contextlib import closing

def check_transaction(db: sqlite3.Connection, operation_id: str) -> str:
    # 查询失败或证据缺失只能说明未知,不能推断业务已回滚。
    try:
        row = db.execute(
            "SELECT outcome FROM tx_result WHERE operation_id = ?",
            (operation_id,),
        ).fetchone()
    except sqlite3.Error:
        return "UNKNOWN"
    if row is None:
        return "UNKNOWN"
    return {"COMMITTED": "COMMIT", "ABORTED": "ROLLBACK"}.get(
        row[0], "UNKNOWN"
    )

def main() -> None:
    with closing(sqlite3.connect(":memory:")) as db:
        db.executescript("""
            CREATE TABLE orders(
                order_id TEXT PRIMARY KEY, state TEXT NOT NULL);
            CREATE TABLE tx_result(
                operation_id TEXT PRIMARY KEY, outcome TEXT NOT NULL);
        """)
        operation_id = "<ID>"
        # 业务变化与成功证据必须在同一个本地事务中提交。
        with db:
            db.execute("INSERT INTO orders VALUES (?, ?)",
                       ("<ID>", "CONFIRMED"))
            db.execute("INSERT INTO tx_result VALUES (?, ?)",
                       (operation_id, "COMMITTED"))
        # 夹具假设该操作已终止且旧执行者不能再提交,不是根据超时猜测。
        with db:
            db.execute("INSERT INTO tx_result VALUES (?, ?)",
                       ("<ID>-aborted", "ABORTED"))
        for key in (operation_id, "<ID>-aborted", "<ID>-missing"):
            print(check_transaction(db, key))
    # 主动关闭连接后回查,用来模拟数据库不可访问。
    print(check_transaction(db, operation_id))

if __name__ == "__main__":
    main()

预期输出:

text
COMMIT
ROLLBACK
UNKNOWN
UNKNOWN

四行依次对应已提交、明确终止、没有结果记录、查询失败。ABORTED 是已完成终止的测试夹具;生产必须先确保旧执行者不能继续提交,才能写入这一结论。读不到记录或发生数据库异常,都不足以证明业务已经回滚。

本例选择保存不可随订单现状改写的事务结果:订单后来取消,也不应抹掉此前确认成功的事实。生产回查使用独立连接读取可靠的已提交结果,查询异常另行告警;不要让缓存、延迟副本或进程内变量成为最终判据。

上线前核对中间件与业务两侧能力

Broker、Topic 和 SDK 都要支持相应的事务能力,并注册事务回查处理器。以 RocketMQ 5.x 为例,应使用事务类型的 Topic;生产者重启后,也必须能重新接收回查并找到同一份业务结果。([RocketMQ][1])

回查不是无限等待。需要核对所用版本的检查间隔、次数和半消息超时策略;长期未决消息可能最终被回滚。建议监控 UNKNOWN 数量与最老未决时长,并安排对账、恢复和必要的补发,不能把一致性寄托在永久重试上。([RocketMQ][4])

消费者仍需按稳定业务键去重,并把去重记录与自身业务修改放在同一本地事务中。重复投递、重发和重试并不会因为使用事务消息而消失;只按新生成的消息 ID 去重也可能遗漏业务重复。([RocketMQ][5])

验收时至少模拟两种故障:本地提交后丢失二次确认,在有效恢复窗口内仍应通过回查投递;本地明确失败,消费者不应收到该事件。再重启生产者验证回查可恢复。只要这些恢复条件还无法落实,就不应把事务消息视为已经解决了双写一致性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

事务消息适合哪些业务

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通