AI Agent / 系统课时
用 LangSmith 追踪执行与成本
用 LangSmith 追踪执行与成本
这一节把“智能体出错了”变成可沿链路定位的问题:为 LangGraph 开启 LangSmith 追踪,把一次用户请求关联到图节点、模型调用、延迟、错误与成本,并建立生产环境可检索的请求标识。
学习目标
- 为 LangGraph 执行开启 LangSmith 追踪并写入指定项目。
- 从 Trace 树定位慢节点、失败节点和具体模型调用。
- 用请求元数据、Token 与成本信息建立从用户请求到费用异常的观测链。
把一次请求变成可检索的 Trace
LangSmith 中,一次完整请求对应一条 Trace,图节点、模型调用和工具调用会作为它下面的 Run 展开。生产环境最重要的不是“能看到日志”,而是让请求有稳定的关联键,例如 request_id、发布版本和业务租户,这样告警出现后才能反查到具体执行路径。
下面的完整 Bash 示例假设本机已有 Python,并且已在当前终端设置 LANGSMITH_API_KEY、OPENAI_API_KEY 和可用的 OPENAI_MODEL。代码只打印稳定的完成标记,模型实际回复不参与控制台断言;执行完成后应在 LangSmith 项目中产生对应 Trace。
python -m pip install -q -U langgraph langchain-openai langsmith >/dev/null
: "${LANGSMITH_API_KEY:?set LANGSMITH_API_KEY first}"
: "${OPENAI_API_KEY:?set OPENAI_API_KEY first}"
: "${OPENAI_MODEL:?set OPENAI_MODEL first}"
export LANGSMITH_TRACING=true
export LANGSMITH_PROJECT="agent-prod-observability"
python - <<'PY'
from langchain_openai import ChatOpenAI
from langgraph.graph import END, START, MessagesState, StateGraph
import os
model = ChatOpenAI(model=os.environ["OPENAI_MODEL"], temperature=0)
def answer(state: MessagesState):
# 模型调用会成为图节点下的子 Run,便于单独查看延迟与用量。
reply = model.invoke(state["messages"])
return {"messages": [reply]}
builder = StateGraph(MessagesState)
builder.add_node("answer", answer)
builder.add_edge(START, "answer")
builder.add_edge("answer", END)
graph = builder.compile()
graph.invoke(
{"messages": [("user", "只回答 OK")]},
config={
"run_name": "support-graph",
"tags": ["prod-observability"],
"metadata": {
"request_id": "req-demo-001",
"release": "2026-09",
},
},
)
print("graph invoke completed")
PY预期输出
graph invoke completed如果终端正常结束但项目里没有 Trace,优先检查追踪开关、API Key、项目名以及账户对应的 LangSmith 区域配置;不要先修改图逻辑,因为追踪链路与业务执行链路应分开定位。
顺着 Trace 树定位慢点和错误点
打开对应项目的 Tracing 列表后,先用 request_id=req-demo-001 或标签缩小范围,再进入单条 Trace。根 Run 应对应 support-graph,下面能看到 answer 节点以及模型调用。排错时按“根请求 → 图节点 → 模型或工具子 Run”的顺序向下钻取,而不是从大量日志里搜索关键词。
遇到慢请求时,先比较各节点耗时,再进入耗时最大的子 Run;遇到失败时,先找第一个标记为错误的 Run,再查看其输入、错误信息和上游输出。这样可以区分“模型本身慢”“工具调用超时”“节点代码抛错”还是“上游已经产生错误数据”。
把成本异常落到具体调用
模型 Run 通常会携带 Token 使用量;当模型与供应商信息足以匹配价格时,LangSmith 可以把用量换算为成本。排查费用突增时,不只看单次总价,而要同时检查调用次数、每次输入输出 Token、是否发生重试,以及是否存在不必要的重复节点执行。
建议把 release、模型名、业务场景等作为元数据写入 Trace。这样在 Monitoring 中看到延迟、错误率或成本异常后,可以先按版本或模型分组,再下钻到单条 Trace,最终落到具体节点和模型调用。
完整的观测链应能从业务请求标识定位到 Trace,再从 Trace 找到异常 Run,并在该 Run 上看到延迟、错误和用量证据;只有做到这一步,告警、排错和成本治理才会指向同一条执行事实。