高等数学 / 系统课时

用正定矩阵定义加权距离

用正定矩阵定义加权距离

欧氏距离把每个方向看得同等重要,但很多数据在不同方向上的尺度和相关性并不一致。本节用正定矩阵重新定义内积与距离,并进一步得到能消除尺度与相关性影响的马氏距离。

学习目标

  • 用对称正定矩阵写出新的内积、范数与距离。
  • 解释非对角元素如何让距离对方向和变量相关性敏感。
  • 从协方差逆矩阵推导马氏距离,并判断其适用边界。

正定矩阵如何改变几何

给定对称正定矩阵 MM,可以把普通点积 xTyx^Ty 替换为

⟨x,y⟩M=xTMy.\langle x,y\rangle_M=x^TMy.

由它得到加权范数 ∥x∥M=xTMx\|x\|_M=\sqrt{x^TMx},两点 x,yx,y 的距离则是

dM(x,y)=(x−y)TM(x−y).d_M(x,y)=\sqrt{(x-y)^TM(x-y)}.

“正定”保证任意非零向量 zz 都满足 zTMz>0z^TMz>0,因此不同的点不会得到零距离。若把 MM 分解成 M=LTLM=L^TL,就有 dM(x,y)=∥L(x−y)∥2d_M(x,y)=\|L(x-y)\|_2:先用线性变换 LL 拉伸、旋转坐标,再在新坐标中计算普通欧氏距离。

正定矩阵把欧氏圆变成加权距离等距椭圆

权重不只是逐坐标缩放

如果 MM 是对角矩阵,例如 M=diag⁡(4,1)M=\operatorname{diag}(4,1),第一个坐标方向的差异会被放大四倍,等价于在该方向上更“敏感”。这就是最直接的加权距离。

当 MM 含有非对角元素时,还会出现交叉项。取

M=[41.21.21],M=\begin{bmatrix}4&1.2\\1.2&1\end{bmatrix},

它是正定矩阵。对差向量 Δ=(1,1)T\Delta=(1,1)^T,有 ΔTMΔ=7.4\Delta^TM\Delta=7.4;对 Δ=(1,−1)T\Delta=(1,-1)^T,结果是 2.62.6。两组坐标变化的绝对值完全相同,仅方向不同,距离却明显不同,这正是相关性或方向偏好的体现。

从协方差逆矩阵得到马氏距离

设数据协方差矩阵为 Σ\Sigma,且 Σ\Sigma 可逆。马氏距离定义为

dM(x,y)=(x−y)TΣ−1(x−y).d_M(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}.

直觉上,方差大的方向本来就容易波动,因此同样大小的偏移不应被视为异常,Σ−1\Sigma^{-1} 会降低这些方向的权重;变量之间若高度相关,协方差的非对角元素还会把坐标轴旋转到更自然的主方向上。

等价地,若先做白化变换 z=Σ−1/2xz=\Sigma^{-1/2}x,那么原空间中的马氏距离就是白化空间中的欧氏距离。因此它并不是另一套神秘的距离,而是“先消除尺度与相关性,再量直线距离”。

使用时先检查矩阵是否可逆

马氏距离常用于异常检测、聚类和分类,因为它能区分“沿数据分布方向的正常偏移”和“穿过低方差方向的异常偏移”。但当特征完全线性相关、特征数远大于样本数,或协方差估计不稳定时,Σ\Sigma 可能不可逆或接近奇异。

此时不能直接求逆。常见做法是删除冗余特征、增加样本,或使用 Σ+λI\Sigma+\lambda I 做正则化。无论矩阵来自人工设计还是数据估计,都应保证最终用于定义距离的矩阵对称且正定;否则得到的量不一定满足合法距离应有的几何性质。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用正定矩阵定义加权距离

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通