当使用卷积网络运行时，张量流会产生纳米损失

Question

我试图在tensorflow中为门牌号图像创建一个卷积NN http://ufldl.stanford.edu/housenumbers/

当我运行代码时，我在第一步中获得了成本。 这是我放入代码的github的链接 https://github.com/ibnipun10/TensorFlow/blob/master/convhouseNumbers.ipynb

请告诉我错误的地方

Answer 1

损失是NaN，因为渐变刚刚爆炸。

您的代码看起来不错，但您的学习率很高。尝试使用较低的学习率（例如1e-2或1e-3），看看渐变是否仍会爆炸。

另外，我不知道您在训练中使用的图像是否刚刚被转换为浮点值并进行缩放以获得零均值和单位范数，但通常这是需要的步骤处理有助于避免渐变爆炸的图像时。

Tensorflow具有以下功能：tf.image.per_image_whitening