【李航】统计学习方法--15. 奇异值分解（详细推导）

【李航】统计学习方法--15. 奇异值分解（详细推导）

文章目录

​​15.1 奇异值分解的定义与性质​​

​​15.1.1 定义与定理​​​​15.1.2 紧奇异值分解与截断奇异值分解​​​​15.1.3 几何解释​​​​15.1.4 主要性质​​

​​15.2 奇异值分解的计算​​​​15.3 奇异值分解与矩阵近似​​

​​15.3.1 弗罗贝尼乌斯范数​​​​15.3.2 矩阵的最优近似​​​​15.3.3 矩阵的外积展开式​​

奇异值分解(singular value decomposition, SVD)是一种矩阵因子分解方法,是线性代数的概念任意一个mxn矩阵,都可以表示为三个矩阵的乘积(因子分解)形式,分别是m阶正交矩阵、由降序排列的非负的对角线元素组成的mxn矩形对角矩阵和n阶正交矩阵,称为该矩阵的奇异值分解。矩阵的奇异值分解一定存在,但不唯一。奇异值分解可以看作是矩阵数据压缩的一种方法,即用因子分解的方式近似地表示原始矩阵,这种近似是在平方损失意义下的最优近似。

15.1 奇异值分解的定义与性质

15.1.1 定义与定理

15.1.2 紧奇异值分解与截断奇异值分解

紧奇异值分解对应着无损压缩截断奇异值分解对应着有损压缩。

15.1.3 几何解释

15.1.4 主要性质

15.2 奇异值分解的计算

15.3 奇异值分解与矩阵近似

15.3.1 弗罗贝尼乌斯范数

因为

故

即

15.3.2 矩阵的最优近似

则

则

下面证明

于是式 ①成立。

15.3.3 矩阵的外积展开式

则

设矩阵

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。