AI Agent / 系统课时

用 LangSmith 追踪执行与成本

用 LangSmith 追踪执行与成本

这一节把“智能体出错了”变成可沿链路定位的问题:为 LangGraph 开启 LangSmith 追踪,把一次用户请求关联到图节点、模型调用、延迟、错误与成本,并建立生产环境可检索的请求标识。

学习目标

  • 为 LangGraph 执行开启 LangSmith 追踪并写入指定项目。
  • 从 Trace 树定位慢节点、失败节点和具体模型调用。
  • 用请求元数据、Token 与成本信息建立从用户请求到费用异常的观测链。

把一次请求变成可检索的 Trace

LangSmith 中,一次完整请求对应一条 Trace,图节点、模型调用和工具调用会作为它下面的 Run 展开。生产环境最重要的不是“能看到日志”,而是让请求有稳定的关联键,例如 request_id、发布版本和业务租户,这样告警出现后才能反查到具体执行路径。

下面的完整 Bash 示例假设本机已有 Python,并且已在当前终端设置 LANGSMITH_API_KEY、OPENAI_API_KEY 和可用的 OPENAI_MODEL。代码只打印稳定的完成标记,模型实际回复不参与控制台断言;执行完成后应在 LangSmith 项目中产生对应 Trace。

bash
python -m pip install -q -U langgraph langchain-openai langsmith >/dev/null

: "${LANGSMITH_API_KEY:?set LANGSMITH_API_KEY first}"
: "${OPENAI_API_KEY:?set OPENAI_API_KEY first}"
: "${OPENAI_MODEL:?set OPENAI_MODEL first}"
export LANGSMITH_TRACING=true
export LANGSMITH_PROJECT="agent-prod-observability"

python - <<'PY'
from langchain_openai import ChatOpenAI
from langgraph.graph import END, START, MessagesState, StateGraph
import os

model = ChatOpenAI(model=os.environ["OPENAI_MODEL"], temperature=0)

def answer(state: MessagesState):
    # 模型调用会成为图节点下的子 Run,便于单独查看延迟与用量。
    reply = model.invoke(state["messages"])
    return {"messages": [reply]}

builder = StateGraph(MessagesState)
builder.add_node("answer", answer)
builder.add_edge(START, "answer")
builder.add_edge("answer", END)
graph = builder.compile()

graph.invoke(
    {"messages": [("user", "只回答 OK")]},
    config={
        "run_name": "support-graph",
        "tags": ["prod-observability"],
        "metadata": {
            "request_id": "req-demo-001",
            "release": "2026-09",
        },
    },
)
print("graph invoke completed")
PY

预期输出

text
graph invoke completed

如果终端正常结束但项目里没有 Trace,优先检查追踪开关、API Key、项目名以及账户对应的 LangSmith 区域配置;不要先修改图逻辑,因为追踪链路与业务执行链路应分开定位。

顺着 Trace 树定位慢点和错误点

打开对应项目的 Tracing 列表后,先用 request_id=req-demo-001 或标签缩小范围,再进入单条 Trace。根 Run 应对应 support-graph,下面能看到 answer 节点以及模型调用。排错时按“根请求 → 图节点 → 模型或工具子 Run”的顺序向下钻取,而不是从大量日志里搜索关键词。

遇到慢请求时,先比较各节点耗时,再进入耗时最大的子 Run;遇到失败时,先找第一个标记为错误的 Run,再查看其输入、错误信息和上游输出。这样可以区分“模型本身慢”“工具调用超时”“节点代码抛错”还是“上游已经产生错误数据”。

把成本异常落到具体调用

模型 Run 通常会携带 Token 使用量;当模型与供应商信息足以匹配价格时,LangSmith 可以把用量换算为成本。排查费用突增时,不只看单次总价,而要同时检查调用次数、每次输入输出 Token、是否发生重试,以及是否存在不必要的重复节点执行。

建议把 release、模型名、业务场景等作为元数据写入 Trace。这样在 Monitoring 中看到延迟、错误率或成本异常后,可以先按版本或模型分组,再下钻到单条 Trace,最终落到具体节点和模型调用。

完整的观测链应能从业务请求标识定位到 Trace,再从 Trace 找到异常 Run,并在该 Run 上看到延迟、错误和用量证据;只有做到这一步,告警、排错和成本治理才会指向同一条执行事实。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 LangSmith 追踪执行与成本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通