机器学习与深度学习 / 系统课时

建立基线方案

建立基线方案

前两节定义了工单分流范围和数据划分。我们只自动分流账号、退款两类,范围外或无法判断的工单转人工。先建立低成本参照,后续模型才能回答同样的工单能否分得更准、自动处理更多,或者在相同质量下省下成本。

学习目标

  • 区分多数类参照、可部署规则和人工回退。
  • 在验证数据上调规则,在独立测试前冻结关键词和冲突处理。
  • 对能拒判的方案同时报告覆盖率、自动正确率和错分数量。

先明确比较范围

多数类参照只用训练标签确定哪一类最多。它可以在标为账号或退款的工单上评估,但直接用它处理所有来信会误收范围外工单。把它记为封闭两类的对照。可部署规则还要先按业务范围拦截,然后对未命中、两类均命中或其他无法判定的工单转人工。别把一个类当成兜底。 scikit-learn 多数类 DummyClassifier

从任务和训练样本出发建立词表,用验证集找遗漏和冲突,冻结词表、范围规则及人工流程后才评估最终测试集。后续模型与规则应在同一批验证或同一批测试工单、相同的范围及口径下比较。若数据版本变化,两个方案都用新快照复验。 scikit-learn 评估和泄漏边界

可运行示例:无法判断就转人工

这是独立的合成验证小样,与上节划分清单及下一节训练夹具分开。第三项 in_scope 模拟接单时已知的业务范围,例如系统收到的是通用开票工单还是账号与退款队列。它不是事后人工标签。对队列内无匹配或两类同时命中的输入,规则仍转人工。下面不读取测试数据,也不从这五条记录学习规则。

python
from collections import Counter


MANUAL = "人工"
KEYWORDS = {"账号": ("登录", "密码", "邮箱", "账号"),
            "退款": ("退款", "退钱", "扣款", "退回")}
train_labels = ["账号", "账号", "账号", "退款", "退款"]
validation = [
    ("申请退款", "退款", True),
    ("无法登录", "账号", True),
    ("改绑联系方式", "账号", True),
    ("重复扣款后无法登录", "退款", True),
    ("发票开错了", MANUAL, False),
]


def route_rule(text, in_scope):
    if not in_scope:
        return MANUAL
    matches = [label for label, words in KEYWORDS.items()
               if any(word in text for word in words)]
    return matches[0] if len(matches) == 1 else MANUAL


def summarize(labels, predictions):
    pairs = list(zip(labels, predictions, strict=True))
    if not pairs:
        raise ValueError("need at least one ticket")
    auto = [(actual, pred) for actual, pred in pairs if pred != MANUAL]
    errors = sum(actual != pred for actual, pred in auto)
    return {
        "coverage": len(auto) / len(pairs),
        "auto_accuracy": (len(auto) - errors) / len(auto) if auto else None,
        "auto_errors": errors,
        "manual_count": len(pairs) - len(auto),
    }


majority = Counter(train_labels).most_common(1)[0][0]
known = [label for _, label, _ in validation if label != MANUAL]
labels = [label for _, label, _ in validation]
predictions = [route_rule(text, in_scope) for text, _, in_scope in validation]
print(f"closed-set majority accuracy: {known.count(majority) / len(known):.2f}")
print("rule routes:", predictions)
print("rule summary:", summarize(labels, predictions))
text
closed-set majority accuracy: 0.50
rule routes: ['退款', '账号', '人工', '人工', '人工']
rule summary: {'coverage': 0.4, 'auto_accuracy': 1.0, 'auto_errors': 0, 'manual_count': 3}

多数类准确率的分母是四条已知类别工单。规则覆盖率的分母是全部五条,自动正确率的分母只有两条自动工单。三条人工工单中,两条原本可归入支持类别,一条范围外。两种正确率口径不同,不能直接按 50% 与 100% 比较。最终应记录每类召回(含被转人工的真实两类样本)、人工容量和错分成本。没有自动工单时,自动正确率没有定义。 scikit-learn 分类指标

记录冻结版本和回退路径

记录数据快照、时间及实体划分、规则字典、冲突策略、支持范围、计数和人工队列。规则也会随表述和产品变化而失效。发生故障可以回退到已验收的规则版本或人工,仍需监控积压。下一课将用另一组工单训练一个小分类器,并用相同指标在它的验证和测试快照里对比冻结规则。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立基线方案

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通