- 1、本文档共44页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
卷积神经网络及目标检测调研
卷积神经网络调研
cnndoer@
2015-1.19
报告内容
• 卷积神经网络(CNN)概述
• 卷基层,降采样层,激活函数,优化算法
• CNN局部结构改进
• CNN网络结构改进
• CNN并行加速
• 数据库及相关应用
报告内容
• 卷积神经网络(CNN)概述
• CNN局部结构改进
• CNN网络结构改进
• CNN并行加速
• 数据库及相关应用
1.1 卷积神经网络
• 卷积神经网络(Convolutional Neural Networks, CNN)
• 卷积神经网络是前馈神经网络(BP)的扩展
• 1962年Hubel提出的感受野(Receptive Field)概念;
• 1980年日本学者Fukushima提出神经认知机(Neocognition),是卷积神经网络的第一个实
现网络,并将其应用于手写体字符识别;
• 1988年Yann LeCun等提出反向传播算法,极大地推动了卷积神经网络的发展。
• 1998年Yann LeCun等提出LeNet-5网络结构,并应用于文档识别,该结构为CNN最经典的
网络结构。
• 2012年,Hinton改进了卷进神经网络的训练方式(ReLU+Dropout),并将其应用于
ImageNet,取得了最好的分类效果。
• 目前,在计算机视觉领域,卷积神经网络是应用最广的深度学习模型。
1.2 深度神经网络
1.3 CNN经典模型
卷积神经网络最核心的地方在于卷积和Pooling操作,卷积思想来源于人眼视觉的感受野概念,即以兴趣
点为中心的一小块区域,卷积更符合图像的二维空间的本质,可以学习更有效的特征;Pooling可以简单
理解为降采样操作,学习图像的空域特征。
CNN 中通过卷积核共享可以减少参数的个数,降低模型的复杂度;
Pooling可以使学到的特征具有一些不变形,如平移、旋转、旋转不变性等。
From: (1998) Gradient-Based Learning Applied to Document Recognition.
1.4 CNN的训练过程
• 训练算法与传统的BP算法差不多。主要包括两个阶段:
• 第一阶段,向前传播阶段:
• 从样本集中取一个样本(X, Y) ,将X输入网络;
• 计算相应的实际输出O 。
• 在此阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完成
训练后正常运行时执行的过程。在此过程中,网络执行的是计算(实际上就是输入与
每层的权值矩阵相点乘,得到最后的输出结果):
• O=Fn (… (F2 (F1 (XW (1))W (2 ))…)W (n ))
• 第二阶段,向后传播阶段
• 计算实际输出O与相应的理想输出Y 的差;
• 按极小化误差的方法反向传播调整权矩阵。
1.5 CNN反向传播算法
• CNN代价函数
• 一般选择最小化平方误差(MSE)或者最小化相对熵(Relative Entropy)。
• 反向传播一般使用随机梯度下降法。
• CNN的反向传播主要考虑三个方面:
• 输出层,代价函数的确定及求导,类似BP网络;
• Pooling,数据的下采样及残差的上采样;
• 卷基层,数据的卷积运算及残差的反卷积运算。
• 如果卷积层的下一层为pooling层时,需要做残差的上采样。Pooling如果采用max
pooling的话需要在前向传播时记录最大值的位置。
• 如果Pooling的下一层为卷积层时,需要做残差的反卷积。
From: (2014) Notes on Convolutional Neural Networks.
报告内容
• 卷积神经网络(CNN)概述
• CNN局部结构改进
• CNN网络结构改进
• CNN并行加速
• 数据库及相关应用
2.1 CNN卷基层
• 卷积的概念:
• 卷积表示函数f与经过旋转和平移的g 的重叠部分的面积。
• 对应计算机视觉中,可以将f看成二维图像矩阵,g为另一个二维矩阵,称卷积核,f与g
卷积可以简单理解为g对f 的滤波。
• CNN 中,设计卷积核时一般考虑三个方面:
• 卷
文档评论(0)