标签: tensorflow
经过多次迭代后,我在语言模型训练中遇到NaN损失,我读到很多文章,其中提到softmax中零值的交叉熵是潜在的原因。
即使我认为这也是我网络中的一个原因。但是我无法在tf中使用简单的log(0.0)对此进行复制。
sess.run(tf.log(0.0), feed_dict=fd)
我得到-inf而不是nan。