深度学习理论与实践 课件 第6、7章 卷积神经网络与计算机视觉、 神经网络与自然语言处理.pptx

第6章卷积神经网络与计算机视觉

导入计算机视觉是一门研究如何使计算机识别图片的科学，也是深度学习的主要应用领域之一。在众多深度模型中，卷积神经网络独领风骚，已经称为计算机视觉的主要研究工具之一。本章首先介绍卷积神经网络的基本知识，而后给出一些常见的卷积神经网络模型。2

目录3卷积神经网络的基本思想卷积操作池化层卷积神经网络经典网络结构用PyTorch进行手写数字识别第一节第二节第三节第四节第五节第六节

第一节卷积神经网络的基本思想

卷积神经网络的基本思想卷积神经网络最初由YannLeCun等人在1989年提出，是最初取得成功的深度神经网络之一。它的基本思想是局部连接参数共享5

局部连接?6

局部连接而局部连接的思想就是使得两层之间只有相邻的结点才进行连接，即连接都是“局部”的。以图像处理为例，直觉上，图像的某一个局部的像素点组合在一起呈现出一些特征，而距离比较远的像素点组合起来则没有什么实际意义，因此这种局部连接的方式可以在图像处理的问题上有较好的表现。如果把连接限制在空间中相邻的??个结点，就把连接权值降低到了??×??，计算与内存开销就降低到了??(??×??)=??(??)7

局部连接?8

第二节卷积操作

卷积操作10离散的卷积操作正是这样一种操作，它满足了以上局部连接、参数共享的性质。代表卷积操作的结点层称为卷积层。??

卷积操作?11

卷积操作?12

卷积操作多个卷积核利用一个卷积核进行卷积抽取特征是不充分的，因此在实践中，通常使用多个卷积核来提升特征提取的效果，之后将所得不同卷积核卷积所得特征张量沿第一维拼接形成更高一个维度的特征张量。多通道卷积在处理彩色图像时，输入的图像有RGB三个通道的数值，这个时候使用不同的卷积核对每个通道进行卷积，然后使用激活函数将相同位置的卷积特征合并为一个。边界填充?13

第三节池化层

池化层池化（Pooling）的目的是降低特征空间的维度，只抽取局部最显著的特征，同时这些特征出现的具体位置也被忽略。这样做是符合直觉的：以图像处理为例，我们通常关注的是一个特征是否出现，而不太关心它们出现在哪里；这被称为图像的静态性。通过池化降低空间维度的做法不但降低了计算开销，还使得卷积神经网络对于噪声具有鲁棒性。15

池化层?16

第四节卷积神经网络

卷积神经网络一般来说，卷积神经网络（ConvolutionalNeuralNetwork,CNN）由一个卷积层、一个池化层、一个非线性激活函数层组成。18

卷积神经网络在图像分类中表现良好的深度神经网络往往由许多“卷积层+池化层”的组合堆叠而成，通常多达数十乃至上百层。19

第五节经典网络结构

经典网络结构VGG，InceptionNet，ResNet等CNN网络从大规模图像数据集训练的用于图像分类的网络，ImageNet从2010年起每年都举办图像分类的竞赛，为了公平起见，它为每位参赛者提供来自于1000个类别的120万张图像。在如此巨大的数据集中训练出的深度学习模型特征具有非常良好的泛化能力，在迁移学习后，可以被用于除图像分类之外的其他任务，比如目标检测，图像分割。PyTorch的torchvision.models为我们提供了大量的模型实现，以及模型的预训练权重文件，其中就包括本节介绍的VGG，ResNet，InceptionNet。21

第五节经典网络结构VGG网络

VGG网络?23

第五节经典网络结构InceptionNet

InceptionNet?25

InceptionNet?26InceptionNet网络结构

第五节经典网络结构ResNet

ResNet神经网络越深，对复杂特征的表示能力就越强。但是单纯的提升网络的深度会导致在反向传播算法在传递梯度时，发生梯度消失现象，导致网络的训练无效。通过一些权重初始化方法和BatchNormalization可以解决这一问题，但是，即便使用了这些方法，网络在达到一定深度之后，模型训练的准确率不会再提升，甚至会开始下降，这种现象称为训练准确率的退化（degradation)问题。退化问题表明，深层模型的训练是非常困难的。ResNet提出了残差学习的方法，用于解决深度学习模型的退化问题。28

ResNet的残差学习?29

第六节用PyTorch进行手写数字识别

用PyTorch进行手写数字识别torch.utils.data.Datasets是PyTorch用来表示数据集的类，在本节我们使用torchvision.datasets.MNIST构建手写数字数据集。31

用PyTorch进行手写数字识别代码段见右图代码段中第5行实例化了Datasets对象。第7行，使用了len(mnist)，这里调用了_len_方法，第8行使用了mnist[j]，调用的是_getitem_，在我们自己