为什么这款Keras型号需要超过6GB的内存？

Question

这款Keras型号似乎需要使用Tensorflow后端的6GB + RAM。我的背后数学建议存储权重不应超过500MB。发生了什么事？

from keras.models import Sequential
from keras.layers.core import Dense, Activation, Dropout, Flatten
from keras.layers.convolutional import Convolution2D, MaxPooling2D

IMAGE_SIZE = 128
print('Build model...')
model = Sequential()
# three color channels, 128x128
# 16 con filters, 3 rows, 3 columns
model.add(Convolution2D(16, 3, 3, input_shape=(3, IMAGE_SIZE, IMAGE_SIZE)))
model.add(Activation('relu'))
model.add(Flatten())
model.add(Dense(1))
model.add(Dense(3 * IMAGE_SIZE * IMAGE_SIZE))


model.compile(loss='mse', optimizer='sgd')

它是一个连接到单个神经元的卷积层（16个3x3滤波器），然后该单个神经元连接到~50k神经元。

我对Keras很新，所以我想我的误会非常重要，但我似乎无法弄明白。

Answer 1

事实证明，我的问题是在DirectoryInfo中包含了一条CUDA 7.5路径，但在LD_CONFIG_PATH中包含了一条CUDA 7.0的路径。显然，这种笨拙的组合会产生一些未定义的行为，在我的情况下会产生内存泄漏。

用PATH检查代码后，我发现7.0中的valgrind基本上是跳到CUDA（7.5）库的无意义区域，这并不意外。它实际上非常惊人，它泄露了内存而不仅仅是崩溃，而Theano也有同样的错误。

希望将来没有其他人会受到这个特定问题的困扰，但如果你是，请仔细检查你的版本路径！

在我的本地计算机上，没有安装GPU和Tensorflow，我仍然遇到内存泄漏，这似乎是之前（0.7.0）版本中已经解决了（0.7.1）的错误发布。再说一遍，我还没弄清楚为什么我的非GPU Theano后端也会产生泄漏，但是在升级Tensorflow之后，Theano后端并没有泄漏。这是一个非常奇怪的事情，但我相信这个问题的一般解决方案是＆＃34;升级＆＃34;并且＆＃34;仔细检查你的环境＆＃34;。