Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用

Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用

一、二次代价函数

y代表实际值，其实就是label。y-a即误差，误差的平方和除以样本数。

第二个公式是表示只有一个样本时的代价函数。σ（）是激活函数，输出前需要经过一个激活函数。W是权值，X是上一层的信号值，b是偏置值，最终得到z，z是信号的总和。

第一个式子：对w权值求偏导；（复合函数求偏导）

第二个式子：对b偏置值求偏导。

其中，z表示神经元的输入，sigma表示激活函数。w和b的梯度跟激活函数的梯度成正比，w和b的大小天正得越快，训练收敛得越快。

sigmoid函数即S形函数，值域为[0,1]。在B点出现梯度消失。

假设我们的目标是收敛到1，A点的值为0.82离目标比较远，梯度比较大，权值调整比较大。B的值为0.98离目标比较近，梯度比较小，权值调整比较小。调整方案合理。

假设我们的目标是收敛到0，A点的值为0.82离目标比较远，梯度比较大，权值调整比较大，调整方案合理。B的值为0.98，梯度比较小，权值调整比较小，调整方案不合理。

二、交叉熵代价函数

策略更加合理，故相比于二次代价函数，模型收敛更快。

三、对数似然代价函数

与softmax函数搭配使用。softmax函数是将数值转化为概率。

策略更加合理，故相比于二次代价函数，模型收敛更快。

四、优化代价函数的实战训练

这里仅仅将代价函数进行转换，使用softmax较适用的交叉熵代价函数

import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_data#读取mnist数据集 如果没有则会-mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)#每个批次的大小batch_size = 100#计算一共有多少批次n_batch = mnist.train.num_examples // batch_size#定义两个占位符x = tf.placeholder(tf.float32,[None,784])y = tf.placeholder(tf.float32,[None,10])#创建简单的神经网络#群值W = tf.Variable(tf.zeros([784,10]))#偏置值b = tf.Variable(tf.zeros([10]))#预测值prediction = tf.nn.softmax(tf.matmul(x,W)+b)#二次代价函数#loss = tf.reduce_mean(tf.square(y-prediction))loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))#使用梯度下降法train_step = tf.train.GradientDescentOptimizer(0.3).minimize(loss)#初始化变量init = tf.global_variables_initializer()#预测数据与样本比较，如果相等就返回1 求出标签#结果存放在布尔型列表中correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一维张量中最大的值所在的位置#求准确率accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))#进行训练with tf.Session() as sess: sess.run(init) for i in range(21):#周期 for batch in range(n_batch):#批次 batch_xs, batch_ys = mnist.train.next_batch(batch_size) sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys}) acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels}) print("周期 ："+ str(i) + "准确率：" + str(acc))

运行结果

周期 ：0准确率：0.8839周期 ：1准确率：0.9017周期 ：2准确率：0.9059周期 ：3准确率：0.9107周期 ：4准确率：0.9127周期 ：5准确率：0.915周期 ：6准确率：0.9155周期 ：7准确率：0.919周期 ：8准确率：0.9178周期 ：9准确率：0.9196周期 ：10准确率：0.9204周期 ：11准确率：0.9222周期 ：12准确率：0.9215周期 ：13准确率：0.9224周期 ：14准确率：0.9219周期 ：15准确率：0.9222周期 ：16准确率：0.9217周期 ：17准确率：0.923周期 ：18准确率：0.9236周期 ：19准确率：0.9237周期 ：20准确率：0.9249

通过对比可以看出后者的训练的速度更快，训练的准确率更高了

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。