台湾“中央研究院”开发出一款新型生成对抗网络

***“中央研究院”IT创新研究中心的研究人员开发出一款新型生成对抗网络，其在生成器的输出层设计了二元神经元，研究人员希望将此用于AI作曲。

中国***的研究人员最近开发了一种新型生成对抗网络（GAN），在其生成器的输出层设计了二元神经元。该模型已经预先在arXiv上发表的论文中提出，可以直接在测试时生成二进制值预测。

目前为止，GAN在连续分布建模方面取得了显着成果。不过，要将GAN应用于离散型数据还存在很大挑战，尤其是在高维离散空间中，主要是因为由模型分布向目标数据分布的优化上存在困难。

进行这项研究的研究人员之一Hao-Wen Dong透露，“我目前正着手进行音乐生成。我认为，作曲可以被解读为一系列的决断，例如，关于乐器的选择、和弦的方法、甚至是使用的确切音符。为了实现AI作曲家的宏伟愿景，我特别感兴趣的是GAN等深层生成模型是否能够做出决定。因此，这项工作考察了我们是否可以训练设计了二元神经元的GAN，并利用标准训练算法与反向传播去做出二元决策。”

Hao-Wen Dong和他的顾问Yi-Hsuan Yang共同开发一个模型，可以在测试时直接生成二进制值预测。然后，他们使用它来生成二进制化的MNIST数字，同时比较不同类型的二元神经元、GAN目标以及网络架构的性能。

样本生成数字和预激活输出，用于由MLP实施并使用WGAN-GP目标进行训练的建议模型。来源：Dong and Yang

“简而言之，这种新型GAN（BinaryGAN）是一种采用二元神经元的GAN，在其生成器的输出层输出一个或零的神经元，”Dong说，“GAN有两个主要组成部分：生成器和判别器。生成器的目的是生成假数据样本，这些样本能够欺骗判别器将生成的样本归类为真样本。另一方面，判别器的目标是区分假样本，然后利用其提供的反馈来改进生成器。而训练之后，生成器可以用来生成新的数据样本。”

研究人员能够有效地训练BinaryGAN，以及它们的生成模型与二元神经元。他们的研究结果还表明，使用梯度估计器可能是有前景的用GAN模拟离散分布的方法。

建议模型的预激活输出的直方图以及实值模型的概率预测。这两个模型均由MLP实施，并通过WGAN-GP目标进行培训。

“通过使用梯度估计器，我们能够使用反向传播算法训练BinaryGAN，”Dong说，“此外，模型中采用的二值化导致了深度神经网络学习的中间表征存在着多种不同的特征。这也强调了在训练中包含二值化操作的重要性，因此这些二值化操作也能进行优化。”

Dong和Yang现在正寻求将采用二元神经元的GAN应用于条件计算图的实现。在这种情况下，根据网络中的二元神经元所做的决定，某些部分将被激活或失效。

MLP实施的建议模型系统图；请注意，二元神经元仅用于生成器的输出层

这很重要，因为它可以让我们建立一个更复杂的、依赖于早期网络层面决定的模型，”Dong说，“例如，我们可以建立一个AI作曲家，首先决定学习乐器和和弦，然后再相应地学习作曲。”