我有一个巨大的NumPy维度矩阵(1919090,140,37)。现在,在本地或服务器上的内存中放置任何大的东西并不容易。 所以我想把NumPy矩阵分成更小的部分(19,000,140,37),然后训练一下Keras模型。我存储模型,然后再次加载它并继续训练下一个矩阵部分。我重复这一步,直到模型在所有100个左右的矩阵位上进行训练。 有办法吗?
答案 0 :(得分:1)
是的,你可以,但这个概念不叫“阶段”,而是批次,它是训练神经网络最常用的方法。您只需要创建一个生成器函数,一次加载一批数据,然后使用model.fit_generator
开始训练。