机器学习与深度学习 / 系统课时

理解距离与相似度

理解距离与相似度

学习目标

完成本课后,你将能够:

  • 计算欧氏距离、曼哈顿距离和余弦相似度
  • 说明不同度量对特征尺度和方向的敏感性
  • 根据数据特点选择合适的相似性方法

三种常用度量

  • 欧氏距离表示两点之间的直线距离,适合连续且尺度可比较的特征。
  • 曼哈顿距离表示各维度绝对差之和,对单个维度的大偏差相对不敏感。
  • 余弦相似度比较向量方向,不直接关注向量长度,常用于文本和高维稀疏数据。

距离越小通常表示越相似;余弦相似度越接近 1 通常表示方向越一致。

使用 NumPy 计算

python
import numpy as np

a = np.array([1.0, 2.0, 3.0])
b = np.array([2.0, 4.0, 6.0])

euclidean = np.linalg.norm(a - b)
manhattan = np.abs(a - b).sum()
cosine = np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

print(f"欧氏距离: {euclidean:.4f}")
print(f"曼哈顿距离: {manhattan:.4f}")
print(f"余弦相似度: {cosine:.4f}")

预期输出:

text
欧氏距离: 3.7417
曼哈顿距离: 6.0000
余弦相似度: 1.0000

两个向量长度不同,但方向完全相同,因此余弦相似度为 1。

特征尺度会改变距离

如果一个特征取值范围是 0 到 1,另一个是 0 到 100000,欧氏距离几乎会被大尺度特征主导。距离模型通常需要先标准化。

python
import numpy as np
from sklearn.preprocessing import StandardScaler

data = np.array([
    [20, 3000],
    [21, 9000],
    [40, 12000],
], dtype=float)

scaled = StandardScaler().fit_transform(data)
print(np.round(scaled.mean(axis=0), 6))
print(np.round(scaled.std(axis=0), 6))

预期输出:

text
[0. 0.]
[1. 1.]

选择度量的判断标准

数据特点 可优先考虑
连续数值、已标准化 欧氏距离
网格路径、绝对差更合理 曼哈顿距离
文本词频、高维稀疏向量 余弦相似度
存在不同量纲 先标准化,再计算距离

实际效果应通过验证集指标和业务解释确认,不能只依赖经验表。

本课练习

  1. 计算二维点 (1, 2) 与 (4, 6) 的欧氏距离和曼哈顿距离。
  2. 构造两个长度不同但方向一致的向量,验证余弦相似度。
  3. 比较标准化前后最近邻结果是否变化。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解距离与相似度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通