机器学习与深度学习 / 知识点

机器学习算法速查手册

手册条目

CODE
选择最近邻算法

样本规模较小且相似样本具有相似标签时使用 K 近邻算法。

选择最近邻算法

当数据量较小、特征距离能表达样本相似度,并且“附近样本通常同类”时,优先用 K 近邻(KNN)建立基线。它几乎不需要训练,但预测时要计算邻居,适合低到中等维度、可接受实时查询成本的分类或回归任务。

选择条件

适合样本规模较小、类别边界局部且不规则的任务,例如相似用户分类、简单图像特征分类和小型推荐候选判断。连续特征必须先缩放;类别特征需要先编码成有意义的数值,否则欧氏距离没有可比性。

不建议直接用于几十万以上样本、上千维稀疏特征或严格低延迟接口。维度升高后样本间距离趋于相近,邻居区分度会明显下降。

基本语法

下面使用标准化流水线训练 3 近邻分类器,weights="distance" 让更近的样本权重更高。

python
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X_train = [[0, 0], [0, 1], [1, 0], [5, 5], [5, 6], [6, 5]]
y_train = ["A", "A", "A", "B", "B", "B"]
X_test = [[0.8, 0.7], [5.2, 5.1]]

model = make_pipeline(
    StandardScaler(),
    KNeighborsClassifier(
        n_neighbors=3,
        weights="distance",
        metric="minkowski",
        p=2,
    ),
)
model.fit(X_train, y_train)

print(model.predict(X_test).tolist())
print(model.named_steps["kneighborsclassifier"].classes_.tolist())
print(model.predict_proba(X_test).round(3).tolist())

预期输出:

text
['A', 'B']
['A', 'B']
[[1.0, 0.0], [0.0, 1.0]]

第一行是预测标签;第二行给出概率列的类别顺序;第三行每一组概率都按该顺序读取。实际数据存在混合邻居时,概率通常不会是 0 或 1。

常用参数

  • n_neighbors:邻居数量。小值更贴合局部边界但容易受噪声影响,大值更平滑但可能忽略少数类。通常从 3、5、7 等奇数开始交叉验证。
  • weights:uniform 表示邻居等权,distance 表示距离越近权重越高;边界复杂或邻居距离差异明显时优先测试后者。
  • metric 与 p:p=2 是欧氏距离,p=1 是曼哈顿距离。高维稀疏文本通常不应直接使用默认欧氏距离。
  • algorithm:一般保持 auto。树结构在高维下未必更快,应以实际预测耗时为准。

风险与边界

未标准化时,量纲大的特征会主导距离,导致模型看似可运行但分类依据错误;安全做法是把缩放器与 KNN 放入同一 Pipeline,避免训练集和线上处理不一致。

样本量增大时,预测延迟和内存占用会同步上升。若线上延迟超标,可改用逻辑回归、树模型,或在允许近似结果时使用专门的近似最近邻索引。类别严重不平衡时还要检查召回率,不能只看准确率。

速查提示:先标准化,再用交叉验证选择 n_neighbors;同时记录验证指标和单次预测耗时。

目录与阅读设置

记录一个想法

机器学习算法速查手册

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通