估计张量流模型的内存要求

Question

如何估计张量流模型的内存要求？下面应该给出一些准确的表示吗？

size = 0
for variable in tf.all_variables():
    size += int(np.prod(variable.get_shape()))

print(size)

size应该是变量的数量。 size * dtype那么应该估计内存需求吗？

Answer 1

不，你还必须考虑你的其他张量（例如tf.placeholder和tf.constant），你也应该有渐变空间，因为我相信在这期间缓存了一堆值。向前传球，以便backprop不会变得太慢。