现代机器学习 课件 第13章 生成对抗网络.pptx

第13生成对抗网络;

13.1生成对抗网络简介;

GAN是一种结构化的概率模型,通过图像、音频和数据来学习复杂的高维分布。生成对抗网络由两个网络组成:一个是生成器(Generator,G),用于捕获数据分布并生成伪样本;另一个是判别器(Discriminator,D),用于预测输入数据是来自真实数据分布还是生成器生成的数据分布的概率。生成器G和判别器D分别作为博弈的两方,学习真实的数据分布,生成与真实数据一样的数据。;

利用梯度下降技术,由生成器和判别器进行最小最大博弈直到纳什均衡,此时生成器可以生成与真实数据相似的数据,而判别器不能区分真实数据与生成器生成的数据。为了更新生成器和判别器的梯度,判别器通过计算两个分布之间的差异所带来的损失来接收梯度信号。因此,生成对抗网络的三个主要设计和优化组件是:网络结构、目标(损失)函数和优化算法。当模型达到纳什均衡时,可以认为生成器捕捉到了真实数据分布。图13.1显示了2014—2018年生成对抗网络图像生成能力的进展情况。;;

13.2网络结构;

GAN的生成模型用来获取真实的数据分布,判别模型用来预测输入是来自真实数据的概率。GAN输入真实数据x和随机噪声向量z,同时训练G和D两个模型。GAN的网络结构如图13.2所示，G的目的是令D(G(z))足够大,最大化预测生成样本为真实数据的概率,尽可能地生成与真实数据相似的数据,使判别器判断不出来生成的数据G(z)是假数据;D的目的是使D(G(z))足够小,尽可能正确地判断输入数据是真实数据还是假数据。;

判别器输入一个0或1的数,表示数据来自真实数据的概率,1表示输入的数据来自真实数据,0表示输入的数据是生成器生成的假数据。判别器输入数据对(xreal,1)和(xfake,0)经过多次的对抗调整,最后使生成器和判别器达到一个动态平衡,即纳什均衡(即自身利益最大化,G和D没有任何一方再需改变其策略的均衡状态)。;;

13.3训练过程;

式中:x表示真实数据;z表示随机噪声向量;G(z)表示生成器生成的样本;D(x)表示判断真实数据为真实数据的概率;D(G(z))表示判断生成器生成的数据为真实数据的概率。生成器和判别器交替迭代,其中G和D都极力优化自己的网络,形成一种竞争对抗状态,直到模型收敛,G、D双方达到纳什均衡。但是在训练初期,若生成器的生成效果很差,则判别器可以轻松地判别样本真假,log(1-D(G(z)))很容易达到饱和,因此选择最大化log(D(G(z))),而不是最小化log(1-D(G(z)))。;

利用交叉熵损失函数计算判别器的损失。判别器的损失函数lD为

生成器与判别器对抗竞争,它尝试将式(13-3)最大化,因此生成器的损失函数可写为

最终的损失函数l为;

上述损失函数仅对单个数据有效,若考虑整个数据集,需添加数据期望:;

实际上,式(13-6)中的log(1-D(G(z)))饱和,并使不充分的梯度流过G,即梯度值变小,停止学习。为了克服梯度消失问题,式(13-6)中的目标函数被重新定义为两个单独的目标:

和;

在式(13-7)中进行计算后,可以使用反向传播来更新模型参数。这两个不同目标的更新规则如下:

在足够的训练迭代次数下,如果生成器和判别器具有足够的能力,生成器可以将一个简单的潜在分布pg转换为更复杂的分布;当pg收敛到pdata时,即可认为pg=pdata。;

13.4评价指标;

13.4.1InceptionScore(IS)

IS指标首先评价生成对抗网络生成图像的质量好坏。但是图像质量是一个非常主观的概念,不够清晰的宠物狗图片和线条足够明晰但表述抽象的图片均应算作低质量图片。计

算机不太容易认识到这个问题,最好可以设计一个可计算的量化指标。;

结合这两个要求,IS定义为

式中运用KL散度(Kullback-LeibierDivergence)衡量两个概率分布的距离。KL散度的数值非负,值越大,说明这两个概率分布越不相像。KL散度的公式如下:;

IS指标作为论文中最常出现的评价标准,在一定程度上可以反映出生成图片的质量以及多样性。但也存在一些问题,例如数值受样本选取的干扰较大,不适合在内部差异较大的数据集上使用,分类模型和生成模型应该在同一个数据集上训练,无法区分过拟合等。;

13.4.2ModeScore(MS)

MS指标是IS指标的改进版本。与IS指标不同的是,MS指标可以测量实际分布与生成分布的差异性,数值越高,效果越好。具体公式如下:

式中:p*(y)表示由训练数据集的样本得到的标签向量的类别概率;p(y)表示由生成样本得到的标签向量的类别概