机器学习与深度学习 / 系统课时
理解距离与相似度
理解距离与相似度
学习目标
完成本课后,你将能够:
- 计算欧氏距离、曼哈顿距离和余弦相似度
- 说明不同度量对特征尺度和方向的敏感性
- 根据数据特点选择合适的相似性方法
三种常用度量
- 欧氏距离表示两点之间的直线距离,适合连续且尺度可比较的特征。
- 曼哈顿距离表示各维度绝对差之和,对单个维度的大偏差相对不敏感。
- 余弦相似度比较向量方向,不直接关注向量长度,常用于文本和高维稀疏数据。
距离越小通常表示越相似;余弦相似度越接近 1 通常表示方向越一致。
使用 NumPy 计算
python
import numpy as np
a = np.array([1.0, 2.0, 3.0])
b = np.array([2.0, 4.0, 6.0])
euclidean = np.linalg.norm(a - b)
manhattan = np.abs(a - b).sum()
cosine = np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
print(f"欧氏距离: {euclidean:.4f}")
print(f"曼哈顿距离: {manhattan:.4f}")
print(f"余弦相似度: {cosine:.4f}")预期输出:
text
欧氏距离: 3.7417
曼哈顿距离: 6.0000
余弦相似度: 1.0000两个向量长度不同,但方向完全相同,因此余弦相似度为 1。
特征尺度会改变距离
如果一个特征取值范围是 0 到 1,另一个是 0 到 100000,欧氏距离几乎会被大尺度特征主导。距离模型通常需要先标准化。
python
import numpy as np
from sklearn.preprocessing import StandardScaler
data = np.array([
[20, 3000],
[21, 9000],
[40, 12000],
], dtype=float)
scaled = StandardScaler().fit_transform(data)
print(np.round(scaled.mean(axis=0), 6))
print(np.round(scaled.std(axis=0), 6))预期输出:
text
[0. 0.]
[1. 1.]选择度量的判断标准
| 数据特点 | 可优先考虑 |
|---|---|
| 连续数值、已标准化 | 欧氏距离 |
| 网格路径、绝对差更合理 | 曼哈顿距离 |
| 文本词频、高维稀疏向量 | 余弦相似度 |
| 存在不同量纲 | 先标准化,再计算距离 |
实际效果应通过验证集指标和业务解释确认,不能只依赖经验表。
本课练习
- 计算二维点
(1, 2)与(4, 6)的欧氏距离和曼哈顿距离。 - 构造两个长度不同但方向一致的向量,验证余弦相似度。
- 比较标准化前后最近邻结果是否变化。
按自己的节奏,确认真正理解。