在tensorflow中加载3D卷,然后重新整理数据

时间:2018-09-10 15:00:37

标签: python tensorflow memory deep-learning computer-vision

我大约有100个“ .hdf5”文件。每个文件都有大约300个(可变)3D卷,大小为80x80x80,属于同一类。总共有100个课程。在所有“ .hdf5”文件中,我还有其他数据,例如图像ID和与每个卷相对应的其他数据。

我的问题是:如何在不将数据加载到内存的情况下改组它们以进行训练,测试和验证,然后如何加载数据进行训练。由于3D卷占用大量内存,因此我无法将数据完全加载到RAM中。有简单的方法吗?

1 个答案:

答案 0 :(得分:0)

一些可能对您有帮助的阅读材料:

https://medium.com/tensorflow/an-introduction-to-biomedical-image-analysis-with-tensorflow-and-dltk-2c25304e7c13;检查有关“使用TFRecords数据库”的部分

https://www.tensorflow.org/guide/datasets是Tensorflow的原始详尽指南。检查“消耗NumPy数组”部分。我不确定您的具体情况,但这通常有助于您更好地了解加载过程