Keras:从HDF5和CSV

时间:2017-01-08 06:44:35

标签: python neural-network keras

我有一个大的数据集,太大而无法放入RAM中,可以用作HDF5或CSV。我怎样才能将它送入Keras的迷你吧?此外,这会为我改变它,还是我需要预先洗牌数据集?

(当输入是Numpy重新排列时,我也对此感兴趣;因为Keras我相信希望输入是ndarray。)

并且,如果我想在学习之前在Keras中进行一些轻量级预处理(例如,将一些Python函数应用于数据以更改表示),那么可以添加hcan吗?

1 个答案:

答案 0 :(得分:2)

在这里查看Keras提供的fit_generator方法:https://keras.io/models/sequential/#sequential-model-methods 它适用于Python生成器逐批生成的数据模型(您可以编写随机逻辑,因为生成器在您的控制之下)。

您可以在发电机本身内应用呼叫预处理。

希望这有帮助。