如何使用keras处理numpy中的MemoryError？

Question

我正在尝试处理数据，并稍后将其用于在keras中训练模型。但是，我在用尽内存的同时将4个数组同时返回给main函数。代码如下：

def prepare_data:
    all_3d_data = []
    for j in range(all_3d_data):
        ...
        X_train.append(all_3d_data)
    del all_3d_data

有四个类似的循环，每个循环中的一个数组中都填充了一些数据。这4个数组立即返回到主函数：

    return X_train, Y_train, X_test, Y_test

在主函数中被调用时：

if __name__ == "__main__":
    X_train, Y_train, X_test,Y_test = prepare_data()

引发错误：

  

文件“ C：... \ tensorflow \ lib \ site-packages \ numpy \ core \ numeric.py”，行501，格式为       返回数组（a，dtype，copy = False，order = order）

     

MemoryError

当我使用较小的数据时，不会发生此错误。我怎样才能解决这个问题？我应该在Keras中使用批处理吗？