使用Caffe训练数据集时，HDF5文件会多次加载

Question

我正在使用hdf5文件训练数据集，日志显示hdf5文件已加载3次。我想知道为什么会这样？

我正在使用4 GPUs

进行培训

0830 10:51:06.050088 24335 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.055855 24336 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.066175 24335 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.071753 24336 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.878861 24337 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.900501 24337 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259

Answer 1

据我所知，如果您使用多个(async () => { try { const result = await MyClass.getSmthg(); } catch(e) {} })() ，则每个GPU会多次加载GPUs个文件！这会导致问题，我不建议在使用hdf5文件进行培训时使用多个GPUs