高等数学 / 系统课时
用正定矩阵定义加权距离
用正定矩阵定义加权距离
欧氏距离把每个方向看得同等重要,但很多数据在不同方向上的尺度和相关性并不一致。本节用正定矩阵重新定义内积与距离,并进一步得到能消除尺度与相关性影响的马氏距离。
学习目标
- 用对称正定矩阵写出新的内积、范数与距离。
- 解释非对角元素如何让距离对方向和变量相关性敏感。
- 从协方差逆矩阵推导马氏距离,并判断其适用边界。
正定矩阵如何改变几何
给定对称正定矩阵 ,可以把普通点积 替换为
由它得到加权范数 ,两点 的距离则是
“正定”保证任意非零向量 都满足 ,因此不同的点不会得到零距离。若把 分解成 ,就有 :先用线性变换 拉伸、旋转坐标,再在新坐标中计算普通欧氏距离。

权重不只是逐坐标缩放
如果 是对角矩阵,例如 ,第一个坐标方向的差异会被放大四倍,等价于在该方向上更“敏感”。这就是最直接的加权距离。
当 含有非对角元素时,还会出现交叉项。取
它是正定矩阵。对差向量 ,有 ;对 ,结果是 。两组坐标变化的绝对值完全相同,仅方向不同,距离却明显不同,这正是相关性或方向偏好的体现。
从协方差逆矩阵得到马氏距离
设数据协方差矩阵为 ,且 可逆。马氏距离定义为
直觉上,方差大的方向本来就容易波动,因此同样大小的偏移不应被视为异常, 会降低这些方向的权重;变量之间若高度相关,协方差的非对角元素还会把坐标轴旋转到更自然的主方向上。
等价地,若先做白化变换 ,那么原空间中的马氏距离就是白化空间中的欧氏距离。因此它并不是另一套神秘的距离,而是“先消除尺度与相关性,再量直线距离”。
使用时先检查矩阵是否可逆
马氏距离常用于异常检测、聚类和分类,因为它能区分“沿数据分布方向的正常偏移”和“穿过低方差方向的异常偏移”。但当特征完全线性相关、特征数远大于样本数,或协方差估计不稳定时, 可能不可逆或接近奇异。
此时不能直接求逆。常见做法是删除冗余特征、增加样本,或使用 做正则化。无论矩阵来自人工设计还是数据估计,都应保证最终用于定义距离的矩阵对称且正定;否则得到的量不一定满足合法距离应有的几何性质。
按自己的节奏,确认真正理解。