现代机器学习 课件 第16章 自监督学习.pptx

第16章自监督学习;

16.1自监督学习概述;

自监督学习方法本质上是一种无监督学习的方法。不同于传统的Auto-Encoder等方法仅仅以重构输入为目的,没有包含更多的语义特征,对下游任务没有很大的帮助,自监督学习希望通过前置任务学习到和高层语义信息相关联的特征,通常会设置一个前置任务,根据数据的一些特点,构造伪标签来训练网络模型,在前置任务训练完成后,将学习到的参数用于预训练的模型,并通过微调转移到其他下游计算机视觉任务(比如目标分类、目标识别、语义分割和实例分割等下游任务)。这些下游任务用于评估学习到的特征的质量。在

下游任务的知识转移过程中,仅前几层的一般特征会转移到下游任务。因此,自监督学习也可以看作用于学习图像的通用视觉表示特征。;

为了避免耗时且昂贵的数据标注,目前产生了许多自监督方法,其可以在不使用任何人工标注的情况下从大规模未标注的图像或视频中学习视觉特征。一种常见的解决方案是

利用卷积神经网络解决各种前置任务,同时通过学习前置任务的目标函数来训练网络,并且通过这个过程来学习特征。自监督学习提出了各种前置任务,包括给灰度图像着色、图

像修复、图像拼图等。前置任务有两个共同的属性:

①图像或视频的视觉特征需要由卷积神经网络捕获来完成前置任务;

②监督信息通过利用其结构由数据本身生成。;

自监督学习的一般流程如图16.1所示。在自监督训练阶段,设计一个前置任务供深度卷积神经网络求解,并且根据数据的某些属性自动生成前置任务的伪标签,然后训练深度卷积神经网络来学习前置任务的目标函数。;;

16.1.2术语解释

前置任务:是网络为解决实际问题而预先设计的。视觉特征是通过学习前置任务的客观功能而得到的。前置任务可以是预测任务、生成任务、对比任务或它们的组合。前置任务的监督信号是根据数据本身的结构生成的。

伪标签:前置任务中使用的标签。它是根据前置任务的数据结构生成的。

;

下游任务:自监督训练产生的权重,需要迁移到其他任务上,以此来看自监督的训练效果。通常认??自监督训练出来的模型可以学到这个数据的一些比较通用的特征,所以通过迁移之后的任务表现来判定这个自监督算法是否有效。因此,下游任务是在自监督训练完成后后续需要迁移自监督模型的任务。

监督学习:指使用带精确的人工标注的标签数据来训练网络或进行学习的方法。

半监督学习:指使用少量标记数据和大量未标记数据进行学习的学习方法。;

弱监督学习:指使用粗粒度标签或不准确标签进行学习的学习方法。

无监督学习:指不使用任何人为标注标签的学习方法。

自监督学习:是无监督学习方法的一个子集,指利用数据本身的结构和数据本身产生的监督信号来训练深度卷积神经网络。

由于在自监督训练期间不需要人工标注来生成伪标签,因此自监督学习方法的主要优点是它可以以非常低的成本很容易地扩展到大规模数据集。使用这些伪标签进行训练后,

自监督方法取得了令人满意的结果,并且在下游任务的性能上取得了与监督方法差距较小的效果。;

16.1.3自监督学习前置任务

根据设计的前置任务的数据属性,可将前置任务的设计方法归纳为三类:基于上下文的方法、基于时序的方法和基于对比的方法。

(1)基于上下文的方法(Context-BasedMethods):主要利用图像的上下文特征(如上下文相似性、空间上下文结构等)来设计。

①上下文相似性(ContextSimilarity):基于图像块之间的背景相似性来设计。这类方法包括基于图像聚类的方法和基于图形约束的方法。

;

②空间上下文结构(SpatialContextStructure):将前置任务用于训练基于图像块之间空间关系的转换网络。这类方法包括图像拼图、上下文预测和几何变换识别等。

(2)基于时序的方法:主要利用视频的时序特征(如视频帧的先后顺序、视频帧的相似性等来设计。

①视频帧的先后顺序:设计一个模型来判断当前的视频序列是否是正确的顺序。

②视频帧的相似性:即认为视频中的相邻帧特征是相似的,而相隔较远的视频帧是不相似的,通过构建这种相似和不相似的样本来进行自监督约束。;

(3)基于对比的方法:构建正样本和负样本,通过度量正负样本的距离来实现自监督学习。

以上我们简单介绍了三种用于自监督学习前置任务的方法,包括基于上下文的方法、基于时序的方法和基于对比的方法,用这些方法设计前置任务都是为了更好地学习图像特

征,从而得到对下游任务有价值的表征。

;

下面我们将通过使用GAN生成图像(生成假图像)、图像超分辨(生成高分辨率图像)、图像修复(预测缺失的图像区域)和图像着色(将灰度图像着色为彩色图像)等方法来简单介

绍自监督学习前置任务的设计。对于这些