第11章 利用深度学习实现“MNIST手写数字(可更换)识别” .pptx

人工智能基础

第11章实现深度学习11.1深度学习11.2深度学习的一般流程11.3利用TensorFlow实现“MNIST手写数字识别”

本章要点理解深度学习的概念理解深度学习常用模型和方法理解TensorFlow构建卷积神经网络的方法掌握深度学习的一般流程

11.1深度学习深度学习概述深度学习（DeepLearning），简称：DL，是一种机器学习的形式，使计算机能够从经验中学习并以概念层次结构的方式理解世界。深度学习的概念来源于人工神经网络（NeuralNetwork）的研究，其动机在于建立、模拟人脑进行分析学习的神经网络。

11.1深度学习传统神经网络传统神经网络采用的是反向传播法方式进行。简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和标签之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。

11.1深度学习传统神经网络不能用于深度神经网络反向传播法训练网络，对于一个深度神经网络（7层以上），残差传播到最前面的层变得太小，误差校正信号越来越小，因此，这种训练方法不能用在深度神经网络。

11.1深度学习深度学习模型深度学习采用了与神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，这种分层结构，是比较接近人类大脑的结构的。

11.1深度学习深度学习逐层训练机制深度学习整体上采用逐层（layer-wise）训练机制，方法是首先逐层构建单层神经元，每次训练一个单层网络，当所有层训练完后，将除最顶层的其它层间的权重变为双向的，向上的权重用于“认知”，向下的权重用于“生成”，然后使用算法调整所有的权重，让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。

11.1深度学习深度学习常用模型和方法深度学习常用模型和方法有自动编码器（AutoEncoder）、稀疏编码（SparseCoding）、限制波尔兹曼机（RestrictedBoltzmannMachine）、深信度网络（DeepBeliefNetworks，DBN）、卷积神经网络（ConvolutionalNeuralNetworks，CNN）、循环神经网络（RecurrentNeuralNetwork,RNN）、生成对抗网络（GenerativeAdversarialNetwork，GAN）等。

11.1深度学习卷积神经网络卷积神经网络主要由输入层、卷积层，激活函数（ReLU）层、池化（Pooling）层和全连接层组成。通过将这些层叠加起来，就可以构建一个完整的卷积神经网络。在实际应用中往往将卷积层与ReLU层共同称之为卷积层，卷积层是构建CNN的核心层。

11.1深度学习卷积计算过程

11.1深度学习卷积计算过程

11.1深度学习卷积层的主要特性局部连接每个神经元仅与输入神经元的一块区域连接，这块局部区域称作感受野（receptivefield）。在图像卷积操作中，即神经元在空间维度（spatialdimension）是局部连接，但在深度上是全部连接。权重共享计算同一个深度切片的神经元时采用的滤波器是共享的。

11.1深度学习池化层池化（pool）层即下采样（downsamples），目的是为了减少特征图，主要作用是通过减少网络的参数来减小计算量，并且能够在一定程度上控制过拟合。2＊2池化层运算：最大池化（MaxPooling）。取4个点的最大值。这是最常用的池化方法。均值池化（MeanPooling）。取4个点的均值。高斯池化。借鉴高斯模糊的方法。不常用。可训练池化。使用训练函数y=f(x)。不常用。

11.1深度学习池化层池化（pool）层即下采样（downsamples），目的是为了减少特征图，主要作用是通过减少网络的参数来减小计算量，并且能够在一定程度上控制过拟合。2＊2池化层运算：最大池化（MaxPooling）。取4个点的最大值。这是最常用的池化方法。均值池化（MeanPooling）。取4个点的均值。高斯池化。借鉴高斯模糊的方法。不常用。可训练池化。使用训练函数y=f(x)。不常用。

11.1深度学习最大池化

11.1深度学习全连接层全连接层实质上就是一个分类器，将前面经过卷积层与池化层所提取的特征，放到全连接层中，输出结果并分类，把所有局部特征结合变成全局特征。

11.1深度学习循环神经网络