李宏毅机器学习——逻辑回归

网友投稿 565 2022-09-08

李宏毅机器学习——逻辑回归

李宏毅机器学习——逻辑回归

逻辑回归

第一步先选择函数集

步骤一:函数集

图形化表示如下:

这个就是逻辑回归,我们与线性回归做一个比较。

因为Sigmoid函数的取值范围是0到1,因此逻辑回归的输出也是0到1;而线性回归的输出可以是任何值。

接下来判断函数的好坏

步骤2: 函数有多好

取对数的好处是使得相乘变成相加:

但是这个式子不好写个SUM的形式,因此需要做符号转换

所以在逻辑回归中,定义一个函数的好坏就通过两个类别分布的交叉熵之和:

我们需要最小化这个交叉熵,也就是希望函数的输出和目标函数的输出越接近越好。

步骤3:找到最好的函数

计算该式对w中某个特征的微分。

一项一项来求,左项可以写成

而右项

也就是

所以

得到的式子很简单。如果用梯度下降算法来更新它的话,可以写成:

接下来比较下逻辑回归和线性回归更新时的式子:

生成模型VS判别模型

我们上面讨论的逻辑回归是判别模型(Discriminative),用高斯分布描述的概率分布模型是生成模型(Generative)。

根据同一组训练数据,同样的函数集,上面两种模型会得到不同的函数。

如果用上所有的特征,判别模型的准确率更好。

假设有一个非常简单的二元分类问题,每个数据都有两个特征。

Class1我们只有一份数据,它的两个特征都是1;Class2有12份数据,如上。

如果给一份测试数据,它的两个特征都是1:

那么它属于哪个类别的概率大呢?

接下来计算这个测试数据属于类别1的几率

多分类问题

多分类问题是指类别超过2个的分类问题。

假设输入是3,1,-3

首先取​​e​​​的指数,得到20,2.7,0.05 再把这些数加起来得到22.75,输出就是根据​​e​​的指数除以这个加起来的总数。

逻辑回归的限制

逻辑回归其实有很大的限制的,以一个简单的二分类问题来举例。

把这四个样本画到二维坐标上是下面这个样子,蓝色的点是类别2;红色的点是类别1。

不管怎么画,都无法画出满足条件的直线。

那么怎么办呢,还是有办法的,可以做特征转换。把蓝色点和红点转换成一条直线的两边。

然后就可以画一条线将红蓝点分开。

但是特征转换并不总是那么的有用,因为这需要领域知识,要知道该怎么转换。

其实特征转换可以看很多个逻辑回归模型叠加的结果。

我们继续用刚才讲的例子来说明。

我们可以把逻辑回归串接起来,一部分做特征转换,最后用一个做真正的分类。

那么问题来了,如何找到这些逻辑回归模型的参数呢?

这些逻辑回归的参数可以一起学习到的,只要告诉输入和输出,就可以一次把所有的逻辑回归的参数学习出来。

我们把上面每个逻辑回归模型叫做神经元,每个神经元串接起来后叫做神经网络,这就是深度学习

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:机器学习入门——决策树图解(附代码)
下一篇:别@我了,我就一个写代码的,我哪知道哪家是不正规的,Python爬取美团店铺数
相关文章

 发表评论

暂时没有评论,来抢沙发吧~