Question

在训练期间，我一直在使用HDF5文件中的数据集来提供卷积神经网络。

我的代码是使用Keras库以Python编写的。向CNN提供数据的功能是生成器。不使用计算机时，处理正常，没有任何错误。但是，当我开始使用它时，代码会因膨胀错误而中止：

...

  File "E:\MATLAB\2018, Autoencoder\utils.py", line 311, in listImgNameToBatch
    im_tmp = self.hf_AD.get('/AD/' + im_name)[im_idx]

  File "h5py\_objects.pyx", line 54, in h5py._objects.with_phil.wrapper

  File "h5py\_objects.pyx", line 55, in h5py._objects.with_phil.wrapper

  File "C:\Users\Helder\Miniconda3\lib\site-packages\h5py\_hl\dataset.py", line 496, in __getitem__
    self.id.read(mspace, fspace, arr, mtype, dxpl=self._dxpl)

  File "h5py\_objects.pyx", line 54, in h5py._objects.with_phil.wrapper

  File "h5py\_objects.pyx", line 55, in h5py._objects.with_phil.wrapper

  File "h5py\h5d.pyx", line 181, in h5py.h5d.DatasetID.read

  File "h5py\_proxy.pyx", line 130, in h5py._proxy.dset_rw

  File "h5py\_proxy.pyx", line 84, in h5py._proxy.H5PY_H5Dread

OSError: Can't read data (inflate() failed)

该数据集未损坏，因为我检查了它的MD5哈希值。它是使用压缩级别5创建的。错误不会在同一点发生。有时训练要经过20个中止时间，有时是5个中止时间，这取决于计算机是否正在使用...而且不止于此，它不会立即引发错误，而是需要一段时间。对我来说，这是一种随机事件，会导致读数崩溃。

有人在经历相同的行为吗？这是HDF5 lib还是Windows的问题？不幸的是，我没有Linux机器来对其进行测试，并且由于我正在GPU中进行处理，因此无法选择使用VM。

任何信息都将受到欢迎。

Windows上的HDF5膨胀错误

0 个答案: