多个HDF5文件的HDF5数据层定义

Question

我知道Caffe不会让你拥有大于2GB的HDF5数据层。
我有一个大型数据集，我将我的大数据集拆分为5块<2GB。
我在'train.txt'文件中列出了五个文件。

如何在我的网络原型文件文件的"HDF5Data"图层中定义它？
只需列出所有这些都作为顶部产生错误。

这有什么小例子吗？

谢谢！

干杯

Answer 1

您应该将文字文件'train.txt'包含以下内容

/path/to/first.h5
/path/to/second.h5
/path/to/third.h5
/path/to/fourth.h5
/path/to/fifth.h5

然后，作为source图层的"HDF5Data"，您应该只提供 'train.txt'：

layer {
  type: "HDF5Data"
  name: "data"
  # put your "top" here, if you have several - then go ahead
  hdf5_data_param {
    source: "/path/to/train.txt"  # only the list file goes here.
  }
  include { phase: TRAIN }
}

如您所见，'/path/to/first.h5'中未明确列出train.prototxt，train.txt中仅列出了vapor clean。