张量流中非常大的网络

Question

我正在尝试在tensorflow中训练一个神经网络，但是我的权重数组足够大，以至于我遇到了2GB的GraphDef限制。在这种情况下，我最好的办法是什么？

注意：我不是真的使用tensorflow的全部功能（例如我的网络没有优化器）。相反，我只是使用tensorflow作为在GPU上执行一些基本阵列操作的方法。

Answer 1

您可能会意外地使用大常量初始化tf.Variable。见https://github.com/tensorflow/tensorflow/issues/2382

github问题的解决方法：

init_val = np.array(...)  # Construct a large numpy array.
init_placeholder = tf.placeholder(tf.float32, shape=init_val.shape)
v = tf.Variable(init_placeholder)
# ...
sess.run(v.initializer, feed_dict={init_placeholder: init_val})