将hdf5数据集附加到数据集?

时间:2019-12-05 00:21:37

标签: file hdf5 h5py

我曾经创建np.vstack并制作hdf5文件
但是当大小增长时,它会占用太多内存

所以我试图将每个hf.dataset写入hdf5文件

 image = np.vstack([sal_maps,sal_maps_b])
            probs = np.append(probs, probs_b)
            preds = np.append(preds,preds_b)
            #if idx ==2: break
            if idx % 1000 == 0:
                print("idx->{} sal_maps->{}, probs->{} , preds->{}".format(idx,sal_maps.shape,probs.shape,preds.shape))

        # TODO indent change

                print("result->{}".format(sal_maps.size))
                with h5py.File(self.datapath, 'w') as hf:
                    hf.create_dataset('image', data=image)
                    hf.create_dataset('probs', data=probs)
                    hf.create_dataset('preds', data=preds)
                    hf.close()
                print('Save_saliency_maps') 

我应该如何阅读原始hdf5文件并将其附加到hdf5文件?

0 个答案:

没有答案