高等数学 / 系统课时

把矩阵拆成正交方向与尺度

把矩阵拆成正交方向与尺度

一个矩阵既可能旋转方向、改变尺度,也可能把某些方向压到低维。奇异值分解把这些作用拆成三个清晰步骤,让任意矩阵的线性变换都能用“正交变换—缩放—正交变换”来理解。

学习目标

  • 写出奇异值分解 A=UΣVTA=U\Sigma V^T 并说明三个因子的角色。
  • 用单位圆到椭圆的几何过程解释右奇异向量、奇异值和左奇异向量。
  • 说明 SVD 与 ATAA^TA、矩阵秩之间的联系。

三个因子分别做什么

对任意 m×nm\times n 实矩阵 AA,都存在分解

A=UΣVT.A=U\Sigma V^T.

VV 的列向量是右奇异向量,给出输入空间中的一组正交方向;Σ\Sigma 的对角元素是奇异值 σ1≥σ2≥⋯≥0\sigma_1\ge\sigma_2\ge\cdots\ge0,负责沿这些方向缩放;UU 的列向量是左奇异向量,给出缩放后在输出空间中的正交方向。

因此计算 AxAx 可以按从右到左理解:先用 VTV^T 把输入改写到右奇异向量坐标系,再由 Σ\Sigma 分别拉伸或压缩各坐标,最后由 UU 把结果转到输出空间。

SVD 将线性变换拆成正交变换、缩放和正交变换

单位圆为什么会变成椭圆

取右奇异向量 viv_i。由 SVD 可直接得到

Avi=σiui.Av_i=\sigma_i u_i.

这句话把几何含义压缩得很清楚:输入空间中沿 viv_i 方向的单位向量,经过 AA 后,会被送到输出空间的 uiu_i 方向,长度变成 σi\sigma_i。因为不同 viv_i 彼此正交,单位圆上的主方向经过线性变换后就成为椭圆的主轴。

若某个 σi=0\sigma_i=0,对应方向会被完全压扁;若奇异值很小,该方向虽然没有完全消失,但信息会被强烈压缩。长轴、短轴和被压扁的方向,都能直接从奇异值读出来。

奇异方向从哪里来

SVD 不是凭空找方向。由 A=UΣVTA=U\Sigma V^T 可得

ATA=VΣTΣVT.A^TA=V\Sigma^T\Sigma V^T.

所以右奇异向量 viv_i 是 ATAA^TA 的特征向量,而对应特征值是 σi2\sigma_i^2。这也解释了为什么奇异值总是非负:它们可以看成 ATAA^TA 的非负特征值开平方。

当 σi>0\sigma_i>0 时,还可以由 ui=Avi/σiu_i=Av_i/\sigma_i 得到对应左奇异向量。于是 SVD 的计算逻辑可以概括为:先在输入空间找到彼此正交的特殊方向,再观察 AA 把这些方向送到哪里、拉伸多少。

从奇异值直接看到秩

矩阵的秩等于非零奇异值的个数。若只有 rr 个奇异值非零,说明 AA 真正能够保留下来的独立方向只有 rr 个;其余方向在变换中被压到零。

这也是 SVD 适用于任意矩阵而特征分解做不到的地方:AA 可以是非方阵,UU 和 VV 分别服务于输出空间与输入空间。后续做低秩近似时,只需保留较大的奇异值及对应方向,就能优先保留矩阵最强的几何作用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

把矩阵拆成正交方向与尺度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通