GAN发电机损耗为零

时间:2019-08-08 16:16:38

标签: tensorflow keras deep-learning generative-adversarial-network

我对深度学习比较陌生,请耐心等待。我有一个GAN,其模型结构是从https://machinelearningmastery.com/how-to-develop-a-generative-adversarial-network-for-an-mnist-handwritten-digits-from-scratch-in-keras/

复制粘贴的

它将训练大约100-200个时期,结果相当不错,然后发电机损耗突然下降到零...这是从日志摘录:


epoch,step,gen_loss,discr_loss
...
189,25,0.208,0.712
189,26,3.925,1.501
189,27,0.269,1.400
189,28,7.814,2.536
189,29,0.000,3.387 // here?!?
189,30,0.000,7.903
189,31,16.118,7.745
189,32,16.118,8.059
189,33,16.118,8.059
189,34,16.118,8.059
... etc, it never recovers

这是消失梯度的问题吗?我还有什么想念的吗?

1 个答案:

答案 0 :(得分:0)

在博客中,人们争论GAN的倒塌问题,在这里您有一条评论:

  

鉴别器有时会崩溃为零,这是有问题的。这似乎是GAN的已知功能。是否有任何已建立的GAN骇客对此有所帮助?   观察100个纪元后的判别器,它处于一种混乱状态,所有传入其中的事物的真实/伪造概率约为50%。我根据歧视概率对一些生成的示例进行了彩色编码(红色=假,绿色=真实,蓝色=基于任意条带不确定),并且正如您提到的,主观辨别与辨别输出并不总是紧密相关。 (示例发布在linkedin上)。鉴别器概率输出的分散程度不足以使其有意义。