有没有更好的方法来解决MemoryError?

时间:2017-12-26 15:01:37

标签: python numpy tensorflow out-of-memory keras

我正致力于深度学习。我正在使用带有张量流后端的Keras,我有36980个图像需要训练。我想使用VGG16,所以我将它们的大小调整为(224 * 224)。因此列车阵列的大小约为22GB(36980 * 224 * 224 * 3 * 4字节)。当我尝试将此数据量加载到numpy数组时,python显示MemoryError。

我曾想过将训练集分成10个部分,并且一次只训练我的模型中的一个。有没有更好的方法来解决这个问题?我使用的是Python 3(64位版本)。

N.B。

  • 为了获得良好的准确性,我需要尽可能大的图像,因此我无法将它们调整为更小的尺寸。此外,这里有必要使用RGB图像。
  • 请不要fit_generator()解决方案。使用fit_generator()训练的模型在预测时表现异常,至少就我所见。

0 个答案:

没有答案