复现经典:《统计学习方法》第22章 无监督学习方法总结

网友投稿 884 2022-08-23

复现经典:《统计学习方法》第22章 无监督学习方法总结

复现经典:《统计学习方法》第22章 无监督学习方法总结

第22章 无监督学习方法总结

无监督学习方法的关系和特点

第2篇详细介绍了八种常用的统计机器学习方法,即聚类方法(包括层次聚类与k均值聚类)、奇异值分解(SVD)、主成分分析(PCA)、无监督学习方法总结 22.1无监潜在语义分析(LSA)、概率潜在语义分析(PLSA)、马尔可夫链蒙特卡罗法(CMC,包括 Metropolis-Hastings-算法和吉布斯抽样)、潜在狄利克雷分配(LDA)、 PageRank算法。此外,还简单介绍了另外三种常用的统计机器学习方法,即非负矩阵分解(NMF)变分推理、幂法。这些方法通常用于无监督学习的聚类、降维、话题分析以及图分析。

表 无监督学习方法的特点


方法

模型

策略

算法

聚类

层次聚类

聚类树

类内样本距离最小

启发式算法


k均值聚类

k中心聚类

样本与类中心距离最小

迭代算法


高斯混合模型

高斯混合模型

似然函数最大

EM算法

降维

PCA

低维正交空间

方差最大

SVD

话题分析

LSA

矩阵分解模型

平方损失最小

SVD


NMF

矩阵分解模型

平方损失最小

非负矩阵分解


PLSA

PLSA模型

似然函数最大

EM算法


LDA

LDA模型

后验概率估计

吉布斯抽样,变分推理

图分析

PageRank

有向图上的马尔可夫链

平稳分布求解

幂法

表 含有隐变量概率模型的学习方法的特点

算法

基本原理

收敛性

收敛速度

实现难易度

适合问题

EM算法

迭代计算、后验概率估计

收敛于局部最优

较快

容易

简单模型

变分推理

迭代计算、后验概率近似估计

收敛于局部最优

较慢

较复杂

复杂模型

吉布斯抽样

随机抽样、后验概率估计

依概率收敛于全局最优

较慢

容易

复杂模型

表 矩阵分解的角度看话题模型

-

​​《统计学习方法》: 黄海广:  github: https://github.com/fengdu78/lihang-code

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:找两个文件相同的内容和不同的内容
下一篇:如何高效地学习和工作:计算机行业人员出门便携装备推荐
相关文章

 发表评论

暂时没有评论,来抢沙发吧~