大模型应用开发 / 系统课时

排查提示词问题

排查提示词问题

提示词问题通常不是一句话写得“不够好”,而是输入、指令、示例和输出约束之间出现了不一致。本节给出一条可重复的排查顺序,并用小型诊断脚本演示如何识别四类常见风险。

学习目标

  • 按固定顺序区分输入缺失、指令冲突、示例偏差和输出约束失效
  • 通过最小化变量和 A/B 对照定位真正影响结果的提示词部分
  • 修复后用回归用例验证,而不是只看一次成功回答

先固定现场再改提示词

遇到异常输出时,先保存原始用户输入、最终拼装后的完整提示词、模型与参数、工具或检索结果、模型原始输出。不要只保存“模板正文”,因为很多问题来自运行时变量为空、检索内容缺失或消息顺序错误。

排查时先复现,再逐层缩小范围。一次同时改角色、示例、温度和输出格式,即使结果变好,也无法知道真正原因。

提示词问题的定位顺序

按四类问题定位

指令冲突最容易被忽略。系统提示要求“绝不输出订单号”,后面的任务说明又要求“回答必须包含订单号”,模型只能在冲突中择一执行。解决办法不是继续堆强调词,而是删掉冲突并确定唯一优先规则。

信息缺失表现为模型频繁猜测、追问或输出看似合理但无法验证的内容。先检查动态变量是否为空、检索结果是否真正注入、字段名是否拼错,再考虑改写提示词。

示例偏差常见于 few-shot:示例全部是同一种答案、同一种长度或同一种标签,模型会把“示例分布”误当成任务规则。应让示例覆盖真正需要区分的代表性情况。

约束失效常见于“要求 JSON,但示例给自然语言”或“前面限制 50 字,后面又要求详细解释”。约束必须与示例和后续指令保持一致,并尽量靠近实际输出任务。

用一个诊断脚本检查静态风险

下面的脚本不调用模型,而是对一份提示词规格做发布前检查。它不能替代真实评测,但能稳定发现明显冲突、空上下文、单一示例和示例格式不一致等问题。

python
def diagnose(spec: dict) -> list[str]:
    issues = []
    instructions = spec["instructions"]
    examples = spec["examples"]

    # 先检查运行时信息是否存在,再检查指令本身是否互相否定。
    if not spec["context"].strip():
        issues.append("信息缺失:context 为空")

    if "不要输出订单号" in instructions and "必须输出订单号" in instructions:
        issues.append("指令冲突:同时要求隐藏和输出订单号")

    answers = [item["answer"] for item in examples]
    if answers and len(set(answers)) == 1:
        issues.append("示例偏差:所有示例答案完全相同")

    if spec["output_format"] == "json":
        if any(not answer.lstrip().startswith("{") for answer in answers):
            issues.append("约束失效风险:示例与 JSON 输出约束不一致")

    return issues

spec = {
    "instructions": ["不要输出订单号", "必须输出订单号"],
    "context": "",
    "examples": [
        {"question": "订单 A 呢?", "answer": "已发货"},
        {"question": "订单 B 呢?", "answer": "已发货"},
    ],
    "output_format": "json",
}

for issue in diagnose(spec):
    print(issue)

预期输出

text
信息缺失:context 为空
指令冲突:同时要求隐藏和输出订单号
示例偏差:所有示例答案完全相同
约束失效风险:示例与 JSON 输出约束不一致

真实项目还要补充模型调用级评测,因为“措辞是否造成行为偏差”往往无法仅靠静态字符串检查得出结论。

用单变量实验确认根因

当某一类风险被怀疑后,只改一个因素做对照。例如怀疑示例偏差,就保持系统指令、输入和模型参数不变,只移除示例或换成覆盖不同标签的示例;如果结果随之稳定改善,根因证据才比较充分。

一个实用顺序是:先补齐缺失输入,再消除互斥指令,然后校正示例,最后收紧输出格式。这个顺序能优先处理确定性问题,避免把本来缺数据的问题误判为“模型不听话”。

修复后做回归验证

修复提示词后,用同一批历史失败样本和正常样本重跑,并比较任务成功率、格式合规率、错误类型和成本。若只验证那一条失败输入,可能修好局部却破坏其他场景。

排查提示词的关键是把“感觉模型不稳定”拆成可观察证据:输入有没有到位、指令有没有冲突、示例有没有偏向、约束有没有被削弱。按同一顺序复现、隔离、修改和回归,才能把一次性的提示词调试变成可持续的工程流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查提示词问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通