在训练过程中使用 tf.nn.softmax_cross_entropy_with_logits 时,结果通常会给出 nan 或特别大的交叉熵值。
(Windows 7 64位 Python 3.6(Anaconda 4.4.0) Tensorflow 1.4 NVIDIA Titan X Pascal CUDA 8.0 CUDNN 6.0。)
Epoch00 CrossEntropy:1.288 L2_loss:1247.340费用:32.489
Epoch01 CrossEntropy:0.936 L2_loss:1019.474费用:23.868
Epoch02 CrossEntropy:0.550 L2_loss:880.814费用:14.669
Epoch03 CrossEntropy:0.331 L2_loss:796.639成本:9.435
Epoch04 CrossEntropy:nan L2_loss:nan成本:nan
Epoch05 CrossEntropy:nan L2_loss:nan Cost:nan
但这不会发生在另一台计算机上。 完全相同的代码,相同的数据。
(Windows 7 64位 Python 3.6(Anaconda 4.4.0) Tensorflow 1.3 NVIDIA GeForce GTX TITAN X. CUDA 8.0 CUDNN 7.0)
Epoch00 CrossEntropy:1.277 L2_loss:1247.637费用:32.244
Epoch01 CrossEntropy:0.938 L2_loss:1018.631费用:23.917
Epoch02 CrossEntropy:0.575 L2_loss:878.269费用:15.250
Epoch03 CrossEntropy:0.345 L2_loss:795.507费用:9.766
Epoch04 CrossEntropy:0.240 L2_loss:741.619费用:7.226
Epoch05 CrossEntropy:0.193 L2_loss:704.291费用:6.051
我也在Linux Envinronment中尝试过,但结果会产生纳米或大的交叉熵值。 有没有人对这个问题有任何想法?