AI 内容创作 / 系统课时
设计评分量表
设计评分量表
评分量表把“写得好不好”改造成可观察、可复核的判断标准。本课将用准确性、相关性、结构、风格和可用性五个维度建立量表,并说明权重、等级锚点与总分计算方法,让不同评审者能够对同一份写作结果给出接近的结论。
学习目标
- 将抽象的写作质量拆成可独立判断的评分维度。
- 为每个维度编写清晰、可观察的等级锚点。
- 使用权重和验收阈值形成可重复的评分流程。
为什么先定义评分标准
直接让评审者给出“优秀、一般、不好”的结论,容易把个人偏好混入判断。量表的作用不是制造复杂表格,而是提前约定什么必须正确、什么影响阅读、什么决定内容能否直接使用。提示词优化前先固定量表,才能判断新版本究竟变好,还是只改变了表达风格。
量表还应服务于具体任务。例如,事实型文章应提高准确性权重;社交媒体文案可以提高风格与可用性权重。维度名称可以稳定复用,但权重和判定锚点必须根据交付目标调整。
拆分五个核心维度
| 维度 | 核心问题 | 低分表现 | 高分表现 |
|---|---|---|---|
| 准确性 | 事实、数字和因果是否可靠 | 出现错误、虚构或越界推断 | 信息与材料一致,边界说明完整 |
| 相关性 | 内容是否围绕任务与读者 | 大量跑题、遗漏关键要求 | 直接回应任务,重点与读者需求一致 |
| 结构 | 信息顺序是否便于理解 | 层级混乱,前后重复或跳跃 | 结构清楚,段落职责明确,过渡自然 |
| 风格 | 语气和表达是否符合要求 | 口吻漂移,术语和称谓不统一 | 语气稳定,语言特征符合品牌或场景 |
| 可用性 | 结果能否直接发布或执行 | 缺字段、缺步骤,需要大量返工 | 格式完整,行动明确,可直接进入下一环节 |
评分维度必须相互区分。准确性关注“是否正确”,相关性关注“是否该写”,结构关注“如何组织”,风格关注“如何表达”,可用性关注“能否交付”。同一个问题可以影响多个维度,但评分理由应分别记录,避免用一次失误重复扣分。
编写等级锚点与权重
推荐使用 1~5 分制,并至少写清 1 分、3 分和 5 分的可观察特征。3 分表示基本满足要求但仍需局部修改,5 分表示无需实质性返工。不要使用“较好”“比较自然”这类无法复核的描述,应改成“无事实错误”“所有必填字段齐全”等可验证条件。
设每个维度得分为 ,权重为 ,且所有权重之和为 1,则总分可以写成 。下面是一组适合知识文章的初始权重:
| 维度 | 权重 |
|---|---|
| 准确性 | 0.30 |
| 相关性 | 0.25 |
| 结构 | 0.20 |
| 风格 | 0.10 |
| 可用性 | 0.15 |
除总分外,还应设置“一票否决项”。例如,出现虚构事实、泄露敏感信息或缺少必填字段时,即使加权总分较高,也不能判定为通过。
完成一次评分与复核
假设某篇知识文章的五项得分依次为 5、4、4、3、3,则总分为 4.05。评审记录不能只写数字,还要为低于 5 分的维度补充证据和修改建议,例如“结论清楚,但第二段重复背景信息,结构得 4 分”。
为了检查量表是否稳定,可以让两名评审者独立评分,再比较各维度差异。若同一维度经常相差 2 分以上,通常说明锚点过于模糊,需要补充正反例或缩小判定范围。量表应先经过小规模校准,再用于批量测试提示词。
常见失真与修正
- 维度重叠:相关性和可用性都在评价“是否完整”。应将相关性限定为内容取舍,将可用性限定为交付状态。
- 只看总分:高分可能掩盖严重事实错误。应增加否决项和单维度最低分。
- 锚点不可观察:使用“高级、流畅、有感染力”等主观词。应改成可定位的文本特征。
- 权重长期不变:不同任务仍沿用同一套比例。应根据风险、受众和交付形式重新分配权重。
本课总结
- 评分量表要把质量拆成边界清楚、能够观察的独立维度。
- 等级锚点、权重、通过阈值和否决项共同构成完整判定规则。
- 量表需要通过多人试评校准,不能只由设计者凭直觉确认。
下一课预告
下一课将学习“制作测试样例”,用常规、边界、复杂和指令冲突输入检验提示词在不同条件下的稳定性。