IT技术互动交流平台

多层网络和反向传播笔记

来源:IT165收集  发布日期:2016-04-18 22:12:06

在我之前的博客中讲到了感知器(感知器),它是用于线性可分模式分类的最简单的神经网络模型,单个感知器只能表示线性的决策面,而反向传播算法所学习的多层网络能够表示种类繁多的非线性曲面。

对于多层网络,如果使用线性单元的话,多个线性单元的连接仍然是线性函数,所以还不能表征非线性函数。使用感知器单元,但是它不连续所以也就不可微,不适合梯度下降算法。我们需要这么一种单元,它的输出是输入的非线性函数,而且输出是输入的可微函数。那么可以使用sigmoid单元,它非常类似于感知器单元,而且基于一个平滑的可微阈值函数,It looked like this:
sigmoid

sigmoid函数公式如下:σ(y)=11+e −y 它的输出范围为[0,1],随输入单调递增,这个函数把非常大的输入值映射到一个小范围的输出,它经常被称为sigmoid单元的挤压函数(squashing function)。sigmoid函数的导数很容易以它的输出表示,即dσ(y)dy =σ(y)⋅(1−σ(y)) 有时候可以使用其他容易计算导数的可微函数代替,比如sigmoid函数中的e −y 有时候被替换为e −ky 其中k 是个正常数,用来决定函数的陡峭性。双曲正切函数也可用来代替sigmoid函数 。

对于由一系列确定的单元相互连接形成的多层网络,反向传播算法可以用来学习这个网络的权值,它使用梯度下降方法来最小化网络输出值和目标值之间的误差平方。

在这里我们要考虑网络中多个输出单元,而不是一个单元,所以可以看到下面的误差公式中要计算两次和:E(w ? )≡12 ∑ d∈D ∑ k∈outputs (t kd −o kd ) 2 其中outputs 是网络输出单元的集合,t kd o kd 是与训练样例d 和第k 个输出单元相关的输出值。

反向传播算法需要解决的问题是搜索一个巨大的假设空间,这个空间由网络中所有单元的所有可能权值定义,此时可以用一个误差曲面来形象表示。在和训练单个单元的情况一样,梯度下降可以用来寻找使E 最小化的一个假设。

多层网络的一个主要不同是它的误差曲面可能有多个局部最小值,那么这就会带来一个问题,使用梯度下降的时候不能保证一定能收敛到全局最小值。不过在实践中反向传播都产生了出色的结果。

反向传播首先把输入x ? 沿网络前向传播,然后计算每个单元u 的输出o u ,然后是误差沿网络反向传播(反向传播算法名字应该就是这么得来的吧),对于网络的每个输出单元k ,计算它的误差项δ k δ k ←o k (1−o k )(t k −o k ) 对于网络的每个隐藏单元h 计算它的误差项δ h : δ h ←o h (1−o h )∑w kh δ k 更新每个网络的权值w ji : w ji ←w ji +Δw ji 其中Δw ji =ηδ j x ji 反向传播已经开发除了许多变种,最常见的是修改权值更新法则,使第n 次迭代的权值更新部分依赖于第n−1 次迭代时的更新,即Δw ji (n)=ηδ j x ji +αΔw ji (n−1) 其中α∈[0,1) ,一个冲量常数,上式右边第二项叫做冲量项。

Tag标签: 多层   笔记   网络  
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规