我有一个大的数据集,太大而无法放入RAM中,可以用作HDF5或CSV。我怎样才能将它送入Keras的迷你吧?此外,这会为我改变它,还是我需要预先洗牌数据集?
(当输入是Numpy重新排列时,我也对此感兴趣;因为Keras我相信希望输入是ndarray。)
并且,如果我想在学习之前在Keras中进行一些轻量级预处理(例如,将一些Python函数应用于数据以更改表示),那么可以添加hcan吗?
答案 0 :(得分:2)
在这里查看Keras提供的fit_generator方法:https://keras.io/models/sequential/#sequential-model-methods 它适用于Python生成器逐批生成的数据模型(您可以编写随机逻辑,因为生成器在您的控制之下)。
您可以在发电机本身内应用呼叫预处理。
希望这有帮助。