Question

我正在使用Tensorflow训练CNN。我目前正在将我的计算基于Float32，这在初始化变量时是默认的。

我猜测通过使用float64作为我的dtype，我可以获得更准确的结果，因此我更改了我的varibales的启动，如下所示：

w1 = tf.Variable(tf.random_normal([5, 5, 3, 64], stddev=0.1, dtype=tf.float64))

但我在maxpool操作中遇到以下错误：我查了maxpool文档，它接受的值类型如下： value: A 4-D Tensor with shape [batch, height, width, channels] and type float32, float64, qint8, quint8, qint32.

但是我收到以下错误。这是一个错误还是我做错了什么？

Input 'input' of 'MaxPool' Op has type float64 that does not match expected type of float32.

Traceback (most recent call last):
  File "/Users/hamedketabdar/LearningTensorFlow/CIFAR-Khodam/convolutional_network_batch_2d2c_clean_64f.py", line 213, in <module>
    pred = conv_net(x, weights, biases, keep_prob)
  File "/Users/hamedketabdar/LearningTensorFlow/CIFAR-Khodam/convolutional_network_batch_2d2c_clean_64f.py", line 153, in conv_net
    conv1 = max_pool(conv1, k=2) # Normally K=2
  File "/Users/hamedketabdar/LearningTensorFlow/CIFAR-Khodam/convolutional_network_batch_2d2c_clean_64f.py", line 135, in max_pool
    return tf.nn.max_pool(img, ksize=[1, k, k, 1], strides=[1, k, k, 1], padding='SAME')
  File "/usr/local/lib/python2.7/site-packages/tensorflow/python/ops/nn_ops.py", line 235, in max_pool
    name=name)
  File "/usr/local/lib/python2.7/site-packages/tensorflow/python/ops/gen_nn_ops.py", line 449, in _max_pool
    strides=strides, padding=padding, name=name)
  File "/usr/local/lib/python2.7/site-packages/tensorflow/python/ops/op_def_library.py", line 430, in apply_op
    (prefix, dtypes.as_dtype(input_arg.type).name))
TypeError: Input 'input' of 'MaxPool' Op has type float64 that does not match expected type of float32.

Answer 1

目前尚未实现对单精度浮点值以外的类型的tf.nn.max_pool()的支持，并且文档不正确。（我已在上游更新了它，它应该很快出现在GitHub和网站上。）

不兼容的原因是出于性能原因，TensorFlow在GPU上有specialized implementation of max-pooling，我们在训练深度网络时几乎总是使用tf.float32，因此对其他类型没有相同的支持。可以添加，欢迎提供参与：请参阅GitHub issue以获取更多讨论。

Tensorflow MaxPool不接受float64

1 个答案: