GAN有异步训练方法吗？

Question

GAN有时由于高维数据而变得非常不稳定。可以训练GAN是异步方式吗？就像我们有一个主生成器和鉴别器。但实际上，我们使用许多从属生成器和鉴别器的渐变来异步更新它。

Answer 1

您是否考虑将异步方法用于GAN培训，类似于A3C中如何使用异步更新？

我猜想RL中使用异步方法的动机与您想用GAN中的异步方法解决的动机完全不同。

由于数据的非平稳性质（即连续更新之间的高度相关性），

RL可能不稳定（没有异步方法）。使用异步方法解决此问题很有意义。

由于求解目标函数的优化方法（例如mini-max），GAN不稳定。并且最近的GAN变体（例如渐进式GAN）是原始GAN的重大改进。我个人认为，“模式崩溃”比稳定更为紧迫。

因此不确定不确定异步方法是否是您要解决GAN中的稳定性问题的答案。也许更好的优化方法（例如优化过程中的稳定性损失）可能是解决此问题的更好方法？

参考 On Convergence and Stability of GANs