关于对生成式对抗网络的研究

博弈中的一名玩家称为生成器, 它的主要工作是生成样本, 并尽量使得其看上去与训练样本一致.。另外一名玩家称为判别器, 它的目的是准确判断输入样本是否属于真实的训练样本. 一个常见的比喻是将这两个网络想象成伪钞制造者与警察.  GAN的训练过程类似于伪钞制造者尽可能提高伪钞制作水平以骗过警察, 而警察则不断提高鉴别能力以识别伪钞. 随着GAN的不断训练, 伪钞制作者与警察的能力都会不断提高。

图 1 生成式对抗网络

相比以往的生成模型, GAN模型具有以下几点明显的优势: 一是数据生成的复杂度与维度线性相关, 对于较大维度的样本生成, 仅需增加神经网络的输出维度, 不会像传统模型一样面临指数上升的计算量; 二是对数据的分布不做显性的限制, 从而避免了人工设计模型分布的需要; 三是GAN生成的手写数字, 人脸, CIFAR-10等样本较VAE, PixelCNN等生成模型更为清晰. 

图 2  GAN与传统方法的数据填补效果 

图 3  iGAN的生成样例 

GAN突出的生成能力不仅可用于生成各类图像和自然语言数据,  还启发和推动了各类半监督学习和无监督学习任务的发展. 结合GAN, 研究者在数据填报, 图像翻译, 数据合成, 模仿学习等诸多方面取得了突破性的进展.

图 4  图对图翻译 

图 5  使用GAN合成数据训练机械臂 

然而, 原始GAN模型也存在许多问题, 包括收敛困难, 无法生成离散数据, 难以评价等. 本文对GAN近年来的发展进行了综述, 对GAN在生成机制, 判别机制两方面的改进进行了介绍, 并梳理了其应用领域. 在此基础上, 本文还探讨了GAN与平行思想的关系.

图 6  本文组织结构