NVIDIA Research使用有限的数据集实现AI训练突破

数据增强技术使AI模型能够基于大都会艺术博物馆的一个小型数据集来模仿艺术作品，并在医疗健康等领域开创全新的潜在应用。

NVIDIA Research的最新AI模型可谓生成式对抗网络（GAN）领域的“神童”。相较于典型的GAN，它只需要基于极少量的学习材料，就能学习诸如模仿著名画家和重建癌症组织图像这样复杂的技能。

通过将一种突破性的神经网络训练技术应用于常用的NVIDIA StyleGAN2模型，NVIDIA的研究人员基于大都会艺术博物馆中不到1，500张图像重新设计了艺术作品。他们使用NVIDIA DGX系统加速训练，从历史人物肖像中汲取灵感，创作出了全新的AI艺术作品。

这种称为自适应鉴别器增强（ADA）的技术能在将训练图像的数量缩减10-20倍的情况下，仍保持不错的效果。未来，该技术将会为医疗健康领域带来重大影响，例如，可通过创建癌症组织学图像来帮助训练其他AI模型。

NVIDIA图形研究副总裁David Luebke表示：“这些研究结果意味着，人们可以使用GAN来解决大量数据过于耗时或难以获取的问题。我十分期待艺术家、医学专家和研究人员能够对其充分利用，实现更多应用。”

本周，这一项目的研究论文将在年度神经信息处理系统大会NeurIPS上发表。在本届大会上，NVIDIA Research破纪录地有28篇研究论文入选，该论文就是其中之一。

这种新方法是NVIDIA研究人员在GAN领域的一系列创新中的最新成果。这些研究人员开发了基于GAN的突破性模型，包括AI绘画应用程序GauGAN、游戏引擎模拟器GameGAN和宠物照片转换器GANimal。这些模型在NVIDIA AI Playground均有提供。

数据训练的困境

像大多数神经网络一样，GAN长期遵循一个基本原则：数据训练量越多，模型越完善。这是因为每个GAN都由两个配合的网络组成——一个生成合成图像的生成器，以及一个根据训练数据来学习逼真图像的鉴别器。

鉴别器会指导生成器，提供逐个像素反馈，以帮助其提升合成图像的真实感。但如果可供学习的训练数据有限，鉴别器就无法帮助生成器发挥其全部潜能，就如同新手教练的实战经验要比经验丰富的专家少得多。

要训练高质量的GAN，通常需要50，000至100，000个训练图像。但在很多情况下，研究人员根本没有成千上万的样本图像可以利用。

仅使用几千张图像进行训练，许多GAN就会难以运行，无法产生逼真的结果。当鉴别器仅能记住训练图像而无法向生成器提供有用的反馈时，就会发生“过拟合”的问题。

在图像分类任务中，研究人员会通过数据增强来解决过拟合的问题。这项技术使用现有图像的副本来扩展较小的数据集，这些副本经过旋转、裁剪或翻转等过程而随机扭曲，从而迫使模型更加通用化。

但是，此前将增强技术应用于GAN训练图像时，生成器学会了模仿那些失真的图像，而非创建可信的合成图像。

GAN的实战演练

NVIDIA Research的ADA技术能够自适应地应用数据增强，这意味着在训练过程中的不同点上，可以调整数据增强的数量，以避免过拟合。这使诸如StyleGAN2这样的模型可以使用更少的训练图像，获得同样惊人的效果。

结果，研究人员可以将GAN应用于从前看来不切实际的应用中。在这些应用中，示例往往太少且难以获得，或收集大型数据集的工作太耗费时间。

艺术家使用了不同版本的StyleGAN来创作令人惊叹的展品，并根据传奇插画家Osamu Tezuka的风格创作了新的漫画。Adobe甚至采用它来为Photoshop的全新AI工具“神经过滤器（Neural Filters）”提供支持。

由于入门所需的训练数据较少，因此采用ADA的StyleGAN2可应用于珍稀艺术作品，例如总部位于巴黎的AI艺术团体Obvious在非洲科塔面具上的作品。

另一潜在应用是医疗健康领域，因为大多数检查结果都是正常的，因此罕见疾病的医学图像可能非常稀少。要想积累大量有用的异常病理切片数据集，需要医学专家花费大量时间，辛苦地进行标记。

通过GAN，采用ADA创建的合成图像可以填补这一空白，为另一种AI模型生成训练数据，从而帮助病理学家或放射学家发现病理图像或MRI研究中的罕见病情。此外，借助AI生成的数据，就不存在患者数据或隐私方面的担忧，更便于医疗机构共享数据集。

NVIDIA Research在NeurIPS上大放异彩

NVIDIA Research成员团队由全球200多名科学家组成，致力于AI、计算机视觉、自动驾驶汽车、机器人技术和图形学等领域。在12月6日至12日举行的年度最大的AI研究会议NeurIPS上，将重点介绍NVIDIA研究人员撰写的超过24篇论文。

点击链接，查看NVIDIA Research成员团队在NeurIPS大会上发表的全部论文。

文章主配图是由StyleGAN2借助ADA生成的，其仅仅基于大都会艺术博物馆收藏品API的不到1，500张图像的数据集进行了训练。