Singular Value Thresholding (SVT) 奇异值阈值

网友投稿 2039 2022-09-06

Singular Value Thresholding (SVT) 奇异值阈值

Singular Value Thresholding (SVT) 奇异值阈值

为了求解问题

因为它是非凸的,我们求解一个它的近似算法

对于一个大的τ值,它可以用下列等式接近

其中第一项为核范式(奇异值的和),第二项为Frobenius范式。

Singular Value Thresholding (SVT) 奇异值阈值

* 奇异值收缩(singular value shrinkage)*

首先我们考虑一个秩为r的矩阵X∈Rn1xn2的奇异值分解如下:

其中 U 和 V 分别为 n1×r 和 n2×r 的正交矩阵,奇异值为ρi非负的。对于每个τ≥0,我们有软阈值操作Dτ:

其中t+表示的t非负部分,即 t+=max(0,t)。换句话说,这个软阈值操作仅仅应用于矩阵 X 的奇异值上,使它们趋于零。这也是为什么我们将其成为奇异值收缩(singular value shrinkage)的原因。

* Singular Value Thresholding (SVT) 奇异值阈值*

又因为奇异值收缩(singular value shrinkage)是核范式的近似操作(具体证明见[3]),因此上式可以转化为:

它的迭代方式为:

这个算法受到压缩感知中迭代算法的启发,在迭代过程中对矩阵进行SVD,然后将较小的奇异值设置为0,生成新的矩阵进行迭代。该算法运算速度快,对于高位低秩矩阵的恢复非常有效。

用拉格朗日乘子法解释

原问题为:

其拉格朗日函数为:

强对偶成立,且拉格朗日函数的鞍点是原函数与对偶问题的最优解,即

其迭代解为:

参考或延伸材料: [1] ​​​斯坦福SVT软件​​​ [2] ​​​Generalized Singular Value Thresholding​​​ [3] ​​​A singular value thresholding algorithm for matrix completion​​​ [4] ​​​Exact Matrix Completion via Convex Optimization​​

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:Python3 调用 FaceAPI 读取并检测视频中的人脸
下一篇:MySQL索引原理及慢查询优化(数据库索引原理及优化)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~