MIT 提出两种新型分布式对抗网络，性能表现超越传统单点采样相关方法

作者：机器之心编译 2017-07-02 05:45:50

开发

开发工具

分布式 麻省理工的 Chengtao Li 等研究人员最近提出了新型的分布式对抗网络。与传统的单点采样的 GAN 方法不同，分布式对抗网络是对真实的样本进行操作。他们的实验也证明了这种结构的对抗网络更加稳定，并且可以更好地完成模态复原。

成都创新互联公司自成立以来，一直致力于为企业提供从网站策划、网站设计、做网站、成都网站建设、电子商务、网站推广、网站优化到为企业提供个性化软件开发等基于互联网的全面整合营销服务。公司拥有丰富的网站建设和互联网应用系统开发管理经验、成熟的应用系统解决方案、优秀的网站开发工程师团队及专业的网站设计师团队。

麻省理工的 Chengtao Li 等研究人员最近提出了新型的分布式对抗网络。与传统的单点采样的 GAN 方法不同，分布式对抗网络是对真实的样本进行操作。他们的实验也证明了这种结构的对抗网络更加稳定，并且可以更好地完成模态复原。

论文地址：https://arxiv.org/pdf/1706.09549.pdf

摘要：我们提出了一种用于对抗式训练的框架，它依赖于一个样本，而不是像判别过程中的基本单元那样依靠于一个单一采样点。受到概率分布间的差异测量(discrepancy measures)和二组样本测试(twosample tests)的启发，我们提出了两个这样的分布式对抗，可以对样本进行操作和预测，并且展示了它们是怎样轻易地在现存模型之上被实施的。很多实验结果都表明用我们的分布式对抗进行训练的生成器是更加稳定的，而且与用点态预测判别器训练的传统模型相比，它不容易遭受模型失效(mode collapse)的风险。这一框架在领域适应(domain adaptation)当中的应用与当前的***结果相比也有着相当可观的提升。

图 1： 用样本设置来解释***似然下采样点判别器的模型失效(mode-collapse)行为的直觉力(intuition)。关于生成点 x 的梯度是由 -1/D (dD/dx) 进行加权，所以靠近第二种类型的点的梯度将由那些***种类型的点的梯度来控制。

图 2：DAN-S 和 DAN-2S 模型及其相应损失，其中

图 3：8 个高斯混合函数生成数据的模态复原结果。最右侧的分布是真实的数据分布。当用 GAN 训练生成器的时候仅能够捕获 8 个模态中的 1 个，然而在使用 DAN-S 和 DAN-2S 进行训练的情况下，我们能够复原所有的 8 种模态。

图 4：在 MNIST 上用不同模型生成的样本的类分布。要注意的是我们展示的是 GAN，RegGAN 和 EBGAN 10 个随机序列中的***的一个，我们根据分布熵(distribution entropy)给了它们一个不公平的优势。对于 DAN，我们只是简单地展示了一个随机序列。RegGAN 和 EBGN 中的***的序列在某种程度上也复原了模态频率，但是它们在不同序列下的性能表现却相差很远，详见图 5。

图 5：2 种不同措施下的模态频率复原的表现：生成的模态分布的熵，和生成模态分布和标准模态分布的整体偏差距离。DAN 完成了***的而且最稳定的模态频率复原。

图 6：在 CelebA 数据集中用 DCGAN，DANS 和 DAN-2S 训练生成的人脸。

【本文是51CTO专栏机构“机器之心”的原创译文，微信公众号“机器之心( id: almosthuman2014)”】

戳这里，看该作者更多好文

当前文章：MIT 提出两种新型分布式对抗网络，性能表现超越传统单点采样相关方法
网站URL：http://www.hantingmc.com/qtweb/news14/229314.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联