我有大量的npy文件(448个文件),每个文件包含大约12k帧(150x150 RGB图像),这些文件一起构成了我的神经网络(X)的输入。但是,由于不可能将所有文件加载到单个阵列中,并且有必要对所有样本进行混洗以避免偏差,因此,如何创建输入并将其馈送到网络?有人建议创建一个虚拟数组来表示索引,将其洗净,根据数组大小和索引创建块,然后将这些块馈送到神经网络。但是,我想知道是否还有另一种更简单的方法。而且我也熟悉Tensorflow(+ keras)和PyTorch。 总之,我想执行此步骤,但是要使用大量的大型npy文件:
X_train_filenames, X_val_filenames, y_train, y_val = train_test_split(...)