如何避免生成对抗中的死区？

Question

在训练两个网络期间，发电机缓慢收敛但突然进入死区，所有输出均为零。

我认为这个问题是由于学习率和鉴别器部分的快速收敛，迫使发生器到处输出零，并且找不到最佳解决方案。

我减少了对他们两人的学习并尝试了不同的实施，但每当我达到2000个纪元或更高时，我进入死区。

GAN专家/用户的任何建议？

Answer 1

GAN死亡是很自然的 - 它会在多久后发生，取决于您的特定问题。 GAN注定要死，因为根据定义，鉴别器得到满足时无法达到这一点。这意味着：你最终会出现振荡（gen“power”＆gt;＆gt; disc）或模式崩溃（gen＆lt;＆lt; disc）。

1. 尝试几种技术，根据我的经验，最好/最简单的方法是体重标准+ prelu
2. 尽量让你的光盘更弱（更小的状态，辍学，平滑类别，跳过训练，你能想象的一切都很合理）
3. 同样，在这里，我必须推广一篇关于随机解卷的文章即将发布。这是一个简单的技巧，可以极大地提高稳定性。详情请见Training GAN on small dataset of images