Keras-提高内存性能

时间:2018-08-15 23:50:45

标签: python tensorflow keras out-of-memory conv-neural-network

我正在5GB的输入集上运行卷积神经网络,训练输出的大小相同,因此总共有10GB的数据。我保留了50GB的内存,但仍然遇到内存问题。我正在使用adam优化器,我的模型拟合如下所示:

cnn_model.fit(x_train,y_train, validation_data=(x_test,y_test), callbacks=[earlystopper], epochs=25)

有什么想法可以改善这种情况吗?这里的某人https://github.com/tensorflow/tensorflow/issues/18736说:“亚当和RMSProp出了问题,因为它们记住了历史梯度”,有什么想法可以解决这个问题吗?

1 个答案:

答案 0 :(得分:0)

您不必一次加载整个数据集!我将创建一个用于训练和测试的流生成器​​。 像这样的东西:https://www.kaggle.com/humananalog/keras-generator-for-reading-directly-from-bson