大模型应用开发 / 系统课时
组装企业售后客服完整链路
组装企业售后客服完整链路
本篇用一个可运行的最小编排器串起售后政策检索、引用、低置信澄清、订单只读工具和人工转接,并用测试账号验证越权订单不会被读取,从而得到一条可验收的客服主链路。
学习目标
- 按固定顺序组合知识检索、工具调用、澄清与人工转接
- 让回答携带可追溯引用,并在低置信度时停止猜测
- 用测试账号验证订单接口的只读权限和数据隔离
先定义售后请求的决策链
售后客服通常同时面对两类事实:公开或企业内部政策来自知识库,订单状态来自受权限保护的业务接口。两者不能混在同一个提示词里“让模型自己判断”,而应先鉴权,再检索政策,需要订单事实时才调用只读工具,最后根据置信度决定回答、澄清还是转人工。

链路中的几个硬边界应由程序控制,而不是依赖模型自觉:订单工具只暴露查询函数;工具调用前检查订单归属;检索置信度低于阈值就返回澄清问题;权限失败不泄露订单是否存在;每条知识结论必须带来源标识。
实现最小可运行编排器
下面的示例用内存数据模拟政策库和订单只读接口,重点展示编排顺序。真实项目只需要把 retrieve_policy 和 get_order_readonly 分别替换成向量检索与企业订单 API,外层决策可以保持不变。
from dataclasses import dataclass
POLICIES = [
{
"title": "七天无理由退货",
"source": "policy://return-7d",
"keywords": {"退货", "七天", "无理由"},
"text": "签收后 7 天内,商品完好且不影响二次销售时可申请退货。"
},
{
"title": "质保政策",
"source": "policy://warranty",
"keywords": {"质保", "保修", "故障"},
"text": "符合质保条件的商品可按售后流程申请检测与维修。"
}
]
ORDERS = {
"A100": {"owner": "test-alice", "status": "delivered"},
"B200": {"owner": "test-bob", "status": "shipped"}
}
@dataclass
class Reply:
action: str
message: str
citation: str | None = None
def retrieve_policy(question: str):
scored = []
for doc in POLICIES:
hits = sum(word in question for word in doc["keywords"])
scored.append((hits, doc))
hits, doc = max(scored, key=lambda item: item[0])
confidence = min(1.0, hits / 2)
return confidence, doc
def get_order_readonly(user_id: str, order_id: str):
order = ORDERS.get(order_id)
if not order or order["owner"] != user_id:
raise PermissionError("order_not_accessible")
# 只返回查询结果,不暴露修改订单的能力。
return {"order_id": order_id, "status": order["status"]}
def handle(user_id: str, question: str, order_id: str | None = None):
confidence, doc = retrieve_policy(question)
if confidence < 0.5:
return Reply("clarify", "请补充商品问题类型,例如退货、质保或物流。")
if order_id:
try:
order = get_order_readonly(user_id, order_id)
except PermissionError:
return Reply("handoff", "当前账号无法读取该订单,已转人工核验身份。")
message = f'{doc["text"]} 当前订单状态:{order["status"]}。'
else:
message = doc["text"]
return Reply("answer", message, doc["source"])
if __name__ == "__main__":
cases = [
("test-alice", "这个商品七天内能退货吗", "A100"),
("test-alice", "这个商品怎么处理", None),
("test-alice", "这个商品七天内能退货吗", "B200"),
]
for case in cases:
print(handle(*case))预期输出
Reply(action='answer', message='签收后 7 天内,商品完好且不影响二次销售时可申请退货。 当前订单状态:delivered。', citation='policy://return-7d')
Reply(action='clarify', message='请补充商品问题类型,例如退货、质保或物流。', citation=None)
Reply(action='handoff', message='当前账号无法读取该订单,已转人工核验身份。', citation=None)第一条验证“知识答案 + 订单只读事实 + 引用”;第二条验证低置信度不猜测;第三条使用 test-alice 访问属于 test-bob 的订单,程序没有返回 B200 的状态,也没有暴露该订单是否真实存在。
把引用、澄清和转人工变成协议
生产系统不要只返回一段自然语言,至少应把 action、message、citation 作为稳定字段。前端看到 answer 就展示答案和来源,看到 clarify 就继续追问,看到 handoff 就创建人工工单并携带已经确认的上下文。
低置信度阈值不能只看向量相似度。更稳妥的做法是组合检索分数、重排分数、关键实体完整度和引用覆盖度,再用离线评测确定阈值。无论采用哪种评分,阈值以下应停止生成确定性结论,否则系统会把“召回不到”伪装成“模型知道”。
人工转接也不应等同于异常兜底。权限失败、涉及高风险承诺、用户明确要求人工、工具多次失败或知识库不存在适用政策,都可以是正常业务分支,并应带上可审计的转接原因。
接入真实订单接口时保持只读
真实订单系统建议通过专门的只读网关暴露最小字段,例如订单号、当前状态、签收时间和售后资格,不要把通用数据库凭据交给客服服务。即使底层 API 同时支持更新,客服侧凭据也应只授予查询权限。
权限校验应同时依赖“当前登录主体”和“订单归属”,而不是相信模型传来的用户 ID。测试时至少准备两个账号和两组互不相属的订单,交叉访问必须统一返回无权限或转人工,不应通过不同错误文案泄露“订单存在但不属于你”。
用验收用例闭环完整链路
上线前把链路拆成可重复的验收条件:命中政策时必须返回来源;低置信问题必须进入澄清;合法账号只能读取自己的订单;越权访问不得泄露状态;订单工具没有写入能力;需要人工时要保留用户问题、已检索引用和失败原因。
这组条件比“模型回答看起来不错”更重要,因为它覆盖了客服系统真正的生产边界。只要检索、引用、权限、工具、澄清和转人工都能被独立测试,后续替换模型、向量库或订单服务时,就可以通过同一套用例确认主链路没有被破坏。