AI 内容创作 / 系统课时

设计评分量表

设计评分量表

评分量表把“写得好不好”改造成可观察、可复核的判断标准。本课将用准确性、相关性、结构、风格和可用性五个维度建立量表,并说明权重、等级锚点与总分计算方法,让不同评审者能够对同一份写作结果给出接近的结论。

学习目标

  • 将抽象的写作质量拆成可独立判断的评分维度。
  • 为每个维度编写清晰、可观察的等级锚点。
  • 使用权重和验收阈值形成可重复的评分流程。

为什么先定义评分标准

直接让评审者给出“优秀、一般、不好”的结论,容易把个人偏好混入判断。量表的作用不是制造复杂表格,而是提前约定什么必须正确、什么影响阅读、什么决定内容能否直接使用。提示词优化前先固定量表,才能判断新版本究竟变好,还是只改变了表达风格。

量表还应服务于具体任务。例如,事实型文章应提高准确性权重;社交媒体文案可以提高风格与可用性权重。维度名称可以稳定复用,但权重和判定锚点必须根据交付目标调整。

拆分五个核心维度

维度 核心问题 低分表现 高分表现
准确性 事实、数字和因果是否可靠 出现错误、虚构或越界推断 信息与材料一致,边界说明完整
相关性 内容是否围绕任务与读者 大量跑题、遗漏关键要求 直接回应任务,重点与读者需求一致
结构 信息顺序是否便于理解 层级混乱,前后重复或跳跃 结构清楚,段落职责明确,过渡自然
风格 语气和表达是否符合要求 口吻漂移,术语和称谓不统一 语气稳定,语言特征符合品牌或场景
可用性 结果能否直接发布或执行 缺字段、缺步骤,需要大量返工 格式完整,行动明确,可直接进入下一环节

评分维度必须相互区分。准确性关注“是否正确”,相关性关注“是否该写”,结构关注“如何组织”,风格关注“如何表达”,可用性关注“能否交付”。同一个问题可以影响多个维度,但评分理由应分别记录,避免用一次失误重复扣分。

编写等级锚点与权重

推荐使用 1~5 分制,并至少写清 1 分、3 分和 5 分的可观察特征。3 分表示基本满足要求但仍需局部修改,5 分表示无需实质性返工。不要使用“较好”“比较自然”这类无法复核的描述,应改成“无事实错误”“所有必填字段齐全”等可验证条件。

设每个维度得分为 sis_i,权重为 wiw_i,且所有权重之和为 1,则总分可以写成 S=Σ(wi×si)S = Σ(w_i × s_i)。下面是一组适合知识文章的初始权重:

维度 权重
准确性 0.30
相关性 0.25
结构 0.20
风格 0.10
可用性 0.15

除总分外,还应设置“一票否决项”。例如,出现虚构事实、泄露敏感信息或缺少必填字段时,即使加权总分较高,也不能判定为通过。

完成一次评分与复核

假设某篇知识文章的五项得分依次为 5、4、4、3、3,则总分为 4.05。评审记录不能只写数字,还要为低于 5 分的维度补充证据和修改建议,例如“结论清楚,但第二段重复背景信息,结构得 4 分”。

为了检查量表是否稳定,可以让两名评审者独立评分,再比较各维度差异。若同一维度经常相差 2 分以上,通常说明锚点过于模糊,需要补充正反例或缩小判定范围。量表应先经过小规模校准,再用于批量测试提示词。

常见失真与修正

  • 维度重叠:相关性和可用性都在评价“是否完整”。应将相关性限定为内容取舍,将可用性限定为交付状态。
  • 只看总分:高分可能掩盖严重事实错误。应增加否决项和单维度最低分。
  • 锚点不可观察:使用“高级、流畅、有感染力”等主观词。应改成可定位的文本特征。
  • 权重长期不变:不同任务仍沿用同一套比例。应根据风险、受众和交付形式重新分配权重。

本课总结

  • 评分量表要把质量拆成边界清楚、能够观察的独立维度。
  • 等级锚点、权重、通过阈值和否决项共同构成完整判定规则。
  • 量表需要通过多人试评校准,不能只由设计者凭直觉确认。

下一课预告

下一课将学习“制作测试样例”,用常规、边界、复杂和指令冲突输入检验提示词在不同条件下的稳定性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计评分量表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通