【机器学习（4）】逻辑回归、损失函数、梯度下降法、惩罚模型

【机器学习（4）】逻辑回归、损失函数、梯度下降法、惩罚模型

Logistic回归

主题思想：通过对数据的分类边界线建立回归公式，从而实现分类

激活函数

将连续的数值转化为0和1输出；其中第一个函数实现0到1的数据转换是不平滑的，有跳跃（求极值的过程会有麻烦），而第二个函数是渐变平滑的

Logistic回归实现的过程：如下图

1） 将样本特征值与回归系数相乘

2） 再将所有的特征值与回归系数的乘积相加

3） 最后将加和代入sigmoid函数

4） 输出一个范围在0-1之间的值

5） 结果大于0.5的样本归入1类，小于0.5的样本归入0类

逻辑回归的损失函数

不能直接使用线性回归的损失函数，否则求导后会形成多个局部最小值点（偏导数为0），无法判断

接着将最后的两个公式代到第一个函数中去，最后整个损失函数就如下图所示：

梯度下降法

惩罚模型

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。