现代机器学习 课件 第11章 深度学习.pptx

第11章深度学习;

11.1深度学习简介;

人工神经网络主要受两个思想启发:一个观点是以大脑为例证明了机器的智能行为是可能的,因此,概念上,建立智能的直接途径是逆向构建大脑背后的计算原理,并复制其功能;

另一种看法是,理解大脑和人类智能背后的原理也非常有趣,因此人工神经网络的发展往往伴随着人类对这些基本科学问题的进一步认知。然而,自人工神经网络诞生以来,并没有达到人们的期望。尽管有些机器学习方法的神经网络模型模仿人类的某些大脑功能进行设计,但它们一般和生物功能的真实模型存在较大差异。;

如今神经科学在深度学习研究中的作用被削弱,主要原因是没有足够多的关于大脑的信息和研究成果来指导并使用。要想获得对这些被大脑实际使用算法的深刻理解,需要有能力同时监测(至少是)数千相连神经元的活动。这一点是很难做到的,甚至连大脑最简单、最深入研究的部分都还远远没有被人们理解。;

深度学习也为其他科学做出了贡献。用于目标识别的现代卷积网络为神经科学家们提供了可以研究的视觉处理模型。深度学习也为处理海量数据以及在科学领域的有效预测提供了非常有用的工具。它已成功地用于预测分子如何相互作用从而帮助制药公司设计新的药物,搜索亚原子粒子,以及自动解析用于构建人脑三维图的显微镜图像等。总之,得益于大数据和更强大的计算能力,深度神经网络的研究具有了突飞猛进的发展,它也是未来机器学习研究领域的热点。;

11.2深度卷积神经网络;;

11.2.1卷积层

卷积层是卷积神经网络的基石。通常,在图像识别里提到的卷积是指二维卷积,即离散二维滤波器(也称作卷积核)与二维图像做卷积操作。简单讲是二维滤波器滑动到二维图像所有位置上,并在每个位置上与该像素点及其邻域像素点做内积。目前,卷积运算被广泛应用于图像处理领域,不同卷积核可以提取不同的特征,例如边沿、线性、角等。随着网络层数的增加,通过卷积网络提取的特征也从图像的低层次细节特征变为高层次图像语义特征。;

卷积实质是二维空间滤波,需要输入两个参数,滤波的性质与卷积核的选择有关。CNN的卷积是在一个二维卷积核和输入的二维特征映射中的各通道分别完成的。假设单通道输入图像的空间坐标为(x,y),卷积核大小是(p,q),卷积核权重为w,图像像素一值大小是v,则卷积过程是卷积核所有权重与其在输入图像上对应元素乘积之和:;

图11.2给出了一个在二维图像上进行卷积运算的例子。图中输入卷积核大小为3×3,在图像上对应位置求得的卷积操作的值为1。通过卷积操作,原始图像会发生变化,从而获得新的图像,其获得图像的尺寸可通过下式给出:

其中:Nin和Nout分别表示输入图像和输出图像的尺寸;k表示卷积核的大小;p表示输入图像需要扩增的边界像素(padding)大小;s表示卷积操作的步长。;;

11.2.2非线性激活层

卷积层对原图运算多个卷积产生一组线性激活响应,而非线性激活层是对之前的结果进行一个非线性的激活响应。在生物意义上的神经元中,只有前面的树突传递的信号的加

权和值大于某一个特定的阈值的时候,后面的神经元才会被激活,而非线性激活层便是模拟了这个机制。此外,激活函数的主要作用是提供网络的非线性建模能力。;

激活函数应该具有如下性质:

(1)非线性。对于深层神经网络,线性激活层作用后的输出仍然是输入的各种线性变换,对网络并没有作用,因此激活函数需要有非线性特性。

(2)连续可微。激活函数应能够利用反向传播来更新网络参数。

(3)单调性。当激活函数是单调函数时,单层神经网络的误差函数是凸函数,更加方便进行优化并收敛。

(4)在原点处近似线性。当网络参数的权值初始化为接近0的随机值时,网络可以学习得较快,可以不用调节网络的初始值。;

常用的激活函数有:;

11.2.3池化层

池化层夹在连续的卷积层中间,是一种降采样操作,也称为欠采样或下采样,主要用于特征降维,压缩数据和参数量,缓解过拟合,同时提高模型的容错性。其主要思想是:着重提取具有某种倾向的特征,比如最大池化对应的是更显著的特征,平均池化对应的是更加平滑的特征。池化包括最大池化(MaxPooling)和平均池化(AveragePooling)。最大池化选取窗口中像素值最大的元素作为输出,其操作过程如图11.3所示。;;

由于池化综合了局部邻域内的反馈,因此池化单元的尺寸小于输入特征图像的尺寸,但这不会造成图像信息的大部分丢失,因为这是通过综合池化区域的k个像素的统计特征

而不是单个像素来实现的。最大池化举例如图11.4所示。;;

11.2.4全连接层

在卷积神经网络中,全连接层起“分类器”的作用,如图11.5所示。若将卷积层、池化层和非线性激活层等操作看作是