吴恩达机器学习系列课程-基础知识

吴恩达机器学习系列课程-基础知识

1.代价函数

​​什么是代价函数？ - 知乎​​

除以2m是为了方便计算。

通过求误差平均值。来确定最小取值。

2.梯度下降

寻找最小取值值（纵坐标为数值），使用梯度下降！

对于二者进行同时更新

为负的话，也是向右边偏移，也能得到自己想要的。

梯度下降 更新规则：

一旦达到收敛条件的话，迭代就结束。（局部最优，变为0。进行公式运算之后，数值仍然为原来的数值。）

这一部分讲述了一些数学的基础知识；

特征缩放，使得等值线变化不大。更容易完成收敛！

（特征取值，不能过大也不能过小！）

3.学习率

学习率过小，下降会十分的缓慢。学习率过大，那么可能每次迭代并不会总是下降。

4.正规方程（不需要选择学习率，不需要迭代。）

梯度下降，特征很多的时候也可以运行的很好！

正轨方程，如果n很大的话，会非常耗时！（一万作为一个区分量！）

MATLAB中是从1开始计数的，

矢量，这部分没太看懂！

分类问题，线性回归不太好用。使用logistic 回归算法比较好！

logistic回归算法，又称为sigmoid激活函数。

决策边界

决策边界：就是通过一个评判标准，对这些进行划分！最终输出函数的预测数值！

决策边界就是能够把样本正确分类的一条边界，主要有

线性决策边界(linear decision boundaries)

非线性决策边界(non-linear decision boundaries)

代价函数

希望看到的代价函数，是一个凸函数。就是希望能够仅有一个极值点。而不是很多个极值点。

希望得到的是右边这样的图形，而不是左边这样的很多个极值点的图形！

代价函数

此处分为预测正确和错误两个情况

分别的代价也是天壤之别。如果预测错误的话，那么代价函数就会非常的大！

y为预测值，h(x):是真实值！（二者之前的区别，通过不同的代价函数加以体现！）

y等于的1，图像的情况如下：

然而，真实的h(x)为0，那么代价函数就会很大！

通过下图写出的函数，来替代这两个不同的函数，并且更加紧凑：

（y只能从0或者1之中选择一个数字）

y等于的0，图像的情况如下：

然而，真实的h(x)为1，那么代价函数就会很大！

不建议自己去实现其中的功能，最好还是调用已经实现好的Python功能库！

-----------------------------------------------------------------------------------------------------------------------------

J-val:计算代价函数。

gradient:是一个2X1的向量!依次对应于左边的两个偏导项。

多分类问题：

对于ABC，进行三分类。那么，就变成了三个二分类问题！还是用二分类来解决这个问题。

过拟合

过拟合，只因为其用到的变量过多。虽然，效果很好。但是，并不具有实际的应用效果！

因为其涉及的变量过多，这个时候有一个二元的如果效果很好，那么，从消耗上面讲，是不错的！

如中间的那个！

过拟合问题发生时，如何解决：

变量很多，数据很少。就会出现过拟合现象。

解决的两个办法：

1.减少选取的变量的数量；保留重要的变量，舍弃不重要的变量。

2.正则化，减少变量的大小。

正则化：

后面的纳不得，属于一个损失函数。将数值降低！

开始讲解神经网络

特征数量过多，其中自变量的平方或者三次方之类的数量也是很多！

会导致计算量很大！

下图，输入layer、隐藏layer、输出layer；因为隐藏layer，其中的数值是看不到的！

任何，非输入层和输出层。都会被称为隐藏layer！

下面箭头指着的这个符号表示，第j层的第i个神经元或者单元：

激活项：由一个具体神经元计算并输出的值。

前向传播：如此命名是因为其是由于从输入单元的激活项开始，进行计算，计算隐藏层的激活项，然后继续前向传播，计算输出层的激活项！

神经网络就像是逻辑回归，但是输入其中的特征，是通过隐藏层进行计算得到的。

通过权重或者说是参数赋值，实现逻辑and和XOR

1.and :

2.or:

合集：

神经网络的代价函数，和逻辑回归的代价函数类似：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。