GAN 是一种非常流行的生成模型。随着时间的推移，GAN 的功能逐渐强大，生成的目标越来越接近真实目标，主要应用于还原受损的图片、风格迁移、生成图像、生成视频等等
GAN 面临两个非常困难的挑战： 第一，是 GAN 调参特别困难，需要花费大量时间调参才能让模型起作用； 第二，是 GAN 模型非常庞大，需要花费大量的计算资源。这两点导致了 GAN 难以训练，所以人们希望通过对GAN 的理论理解去设计更好的算法
传统的 JS-GAN 本质上是让生成样本的概率分布和真实数据的概率分布尽量接近，数学化的表达就是一个 min-max 优化问题：
GAN 是一种非常流行的生成模型。随着时间的推移，GAN 的功能逐渐强大，生成的目标越来越接近真实目标， 主要应用于还原受损的图片、风格迁移、生成图像、生成视频等等。
GAN 面临两个非常困难的挑战： 第一，是 GAN 调参特别困难，需要花费大量时间调参才能让模型起作用； 第 二，是 GAN 模型非常庞大，需要花费大量的计算资源。这两点导致了 GAN 难以训练，所以人们希望通过对 GAN 的理论理解去设计更好的算法。 传统的 JS-GAN 本质上是让生成样本的概率分布和真实数据的概率分布尽量接近，数学化的表达就是一个 minmax 优化问题：
对 GAN 的理论研究分为两类。
一是从统计的角度，例如关于 JS 距离（参考文献 Goodfellow et al’ 14）、 W-GAN（参考文献 Arjovsky & Bottou, 2017）、f-GAN（参考文献 Nowozin et al.’ 16）以及泛化边界（参考文 献 Arora, Ge, Liang, Ma, and Zhang, 2017）等等。
二是从优化的角度，例如考虑收敛到局部最小点或者稳定 点（参考文献 Daskalakis et al., 2018; Daskalakis & Panageas, 2018; Azizian et al., 2019; Gidel et al., 2019; Mazumdar et al.; Yazıcı et al., 2019; Jin et al., 2019; Sanjabi et al., 2018）。
用一个非常形象的图来讲述了研究模型理论由易到难的三步：
- S1 概率空间（pdf space），
- S2 生成 函数空间（generator function space）
- S3 参数空间（parameter space）。
理论和实际的差距就在于，在实际 中我们都是在参数空间，而理论上通常只能研究概率空间。在优化理论上有四步：01 需要全局最小点吗，02 存 在坏局部最小点吗，03 如何收敛到全局最小点，04 收敛速度。
这项工作最大的进步就在于从概率空间上的理论研究进步到了生成函数空间和参数空间上。优化理论是在 01 和 02 上。接下来的部分，作者孙若愚重点研究了生成函数空间和局部最小点空间的情况，因为这种情况最有启发 性，能帮助我们理解 GAN。研究清楚这种情况之后，其余三种情况都能够很容易地得到对应的结论。
