可观测性与稳定性 / 系统课时

处理异步任务与消息链路传播

处理异步任务与消息链路传播

这一课解决消息队列、后台任务和批处理里“有因果关系但不一定适合硬连成父子树”的问题:你会在消息属性中传播 Context,并根据单消息、重试、扇入和批处理场景选择父子关系或 Span Links。

学习目标

  • 能把 W3C Trace Context 写入消息属性并在消费者侧提取
  • 区分严格父子关系与 Span Links 的语义差异
  • 能在批处理或多来源消息场景中避免错误继承上下文

异步传播为什么比 HTTP 更复杂

同步 HTTP 往往只有一个明确的上游请求和一个下游处理,因此远程父子关系自然。消息系统则可能经历排队、延迟、重试、扇出和扇入;一条消费 Span 甚至可能同时处理多条来自不同 Trace 的消息。

因此需要分开两件事:传播 Context 解决“这条消息来自哪里”,而 选择 parent 还是 link 解决“消费 Span 与来源之间应该用什么关系表达”。消息属性中的 traceparent、tracestate 仍可沿用 W3C Trace Context,但接收后不必总把它设置为当前父上下文。

异步消息中的父子关系与 Span Links

在消息属性里传播 Context

不要把进程内 Context 对象塞进消息体。生产者应该把当前上下文注入 broker 支持的字符串属性;消费者取到消息后,再从这些属性提取。下面示例构造两条来自不同 Trace 的消息,并在批处理端恢复每条消息的来源 SpanContext:

python
from opentelemetry import trace
from opentelemetry.context import Context
from opentelemetry.trace import Link, NonRecordingSpan, SpanContext, TraceFlags, TraceState
from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator

propagator = TraceContextTextMapPropagator()

def make_message(trace_hex: str, span_hex: str, payload: str) -> dict:
    span_context = SpanContext(
        trace_id=int(trace_hex, 16),
        span_id=int(span_hex, 16),
        is_remote=False,
        trace_flags=TraceFlags(0x01),
        trace_state=TraceState(),
    )
    context = trace.set_span_in_context(NonRecordingSpan(span_context))
    headers = {}
    propagator.inject(headers, context=context)
    return {"payload": payload, "headers": headers}

messages = [
    make_message("11111111111111111111111111111111", "aaaaaaaaaaaaaaaa", "job-a"),
    make_message("22222222222222222222222222222222", "bbbbbbbbbbbbbbbb", "job-b"),
]

links = []
for message in messages:
    extracted = propagator.extract(message["headers"], context=Context())
    source = trace.get_current_span(extracted).get_span_context()
    links.append(Link(source))
    print(message["payload"], f"{source.trace_id:032x}", f"{source.span_id:016x}")

print("link_count", len(links))

预期输出

text
job-a 11111111111111111111111111111111 aaaaaaaaaaaaaaaa
job-b 22222222222222222222222222222222 bbbbbbbbbbbbbbbb
link_count 2

这里没有把第二条消息的 Context 覆盖成“当前上下文”,而是逐条提取并保存为 Link 来源。真实批处理 Span 启动时,把 links 传给 tracer 的 start_span 或 start_as_current_span,同时让该批处理 Span 使用独立父上下文。

什么时候用父子关系

如果一个消费操作只处理一条消息,而且该消息明确触发这次处理,使用提取后的 Context 作为消费 Span 的父上下文通常最直观。这样 Trace 树能表达“生产或发送动作导致了这次消费处理”。

如果同一消息后续又启动多个内部异步任务,这些任务可以继续以消费 Span 为父节点;此时父子链仍是单一因果路径,不必为了“异步”二字机械改成 Links。

什么时候改用 Span Links

Span Links 更适合有关联,但不应该强行选一个唯一父节点的场景。例如一个批处理 Span 同时处理十条来自不同 Trace 的消息;或者一个聚合任务等待多个上游事件后才开始。此时选任意一条消息做父节点都会让其他来源在拓扑上消失。

重试、长时间延迟和重新投递也常需要 Links 表达“来源相关性”,以避免把一次逻辑消息的所有后续尝试无限拉成长父子链。具体是否使用 parent 或 link,应以你的消息语义和所采用的 OpenTelemetry 消息语义约定为准,而不是只看 broker 类型。

验证链路是否表达正确

验证异步追踪时,不只看“Trace 有没有连上”,还要检查关系是否符合业务因果。单消息消费应该能定位到唯一来源;批处理 Span 应能看到多个 Link;不同消息的 Trace ID 不应因为共享线程池或全局变量而被串成一条链。

还要检查消息中间件是否完整保留 traceparent 和 tracestate 属性、是否限制属性大小,以及重试或死信转移时是否复制这些字段。只有传播和关系建模都正确,异步链路才既连续又不会制造误导性的父子树。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理异步任务与消息链路传播

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通