奇异值分解 SVD

任何一个 $m \times n$ 的矩阵 $A$ 都可以分解为：

其中：

• $U$：$m \times m$ 正交矩阵（左奇异向量）
• $\Sigma$：$m \times n$ 对角矩阵（奇异值在对角线上）
• $V$：$n \times n$ 正交矩阵（右奇异向量）

什么是奇异值

奇异值（Singular Value）是 $\Sigma$ 对角线上的非负实数，记作 $\sigma_1, \sigma_2, \ldots$。

重要性质：

• 奇异值总是非负的：$\sigma_i \geq 0$
• 奇异值按从大到小排列：$\sigma_1 \geq \sigma_2 \geq \cdots \geq 0$
• 矩阵的秩等于非零奇异值的个数

奇异值与特征值的关系

对于方阵 $A$（$n \times n$）：

• 特征值 $\lambda$ 满足：$A v = \lambda v$
• 奇异值 $\sigma$ 满足：$\sigma = \sqrt{\lambda_i(A^\top A)}$

当 $A$ 是对称正定矩阵时，奇异值就是特征值的绝对值。

奇异矩阵

奇异矩阵（Singular Matrix）是指行列式为零的方阵，即：

判断方法

以下条件等价：

1. 矩阵是奇异的（不可逆）
2. 行列式为零
3. 零是矩阵的特征值
4. 矩阵的秩小于维度
5. 奇异值中有零出现

与 SVD 的联系

在奇异值分解 $A = U \Sigma V^\top$ 中：

• 如果 $A$ 是奇异矩阵，那么 $\Sigma$ 中至少有一个奇异值为零
• 奇异值的个数可能少于矩阵维度

几何意义

奇异值分解的几何含义极其优雅：

1. $V^\top$：先对待变换向量做一个旋转变换
2. $\Sigma$：再做一个缩放变换（沿主轴方向缩放奇异值倍）
3. $U$：最后再做一个旋转变换

任何一个线性变换，都可以分解为：旋转 → 缩放 → 旋转。

与 PCA 的联系

在 PCA 文章中，我们利用 SVD 找到了数据变换矩阵 $V$。奇异值分解是 PCA 的核心数学工具：

• 右奇异向量矩阵 $V$ 的列向量是数据的主成分方向
• 奇异值的大小反映了该方向上的方差贡献
• 前 $k$ 个奇异值对应的方向保留了最多的信息

补充说明

正规矩阵与奇异值

对于正规矩阵 $A$（满足 $A^\top A = AA^\top$），奇异值等于特征值的模：

条件数

矩阵的条件数定义为最大奇异值与最小奇异值的比值：

条件数越大，矩阵越"病态"，数值计算越不稳定。