处理包含npy文件的大型数据集

时间:2019-10-23 19:00:25

标签: python machine-learning image-processing deep-learning computer-vision

我有大量的npy文件(448个文件),每个文件包含大约12k帧(150x150 RGB图像),这些文件一起构成了我的神经网络(X)的输入。但是,由于不可能将所有文件加载到单个阵列中,并且有必要对所有样本进行混洗以避免偏差,因此,如何创建输入并将其馈送到网络?有人建议创建一个虚拟数组来表示索引,将其洗净,根据数组大小和索引创建块,然后将这些块馈送到神经网络。但是,我想知道是否还有另一种更简单的方法。而且我也熟悉Tensorflow(+ keras)和PyTorch。 总之,我想执行此步骤,但是要使用大量的大型npy文件:

X_train_filenames, X_val_filenames, y_train, y_val = train_test_split(...)

0 个答案:

没有答案