Google Colab / Google云端硬盘和h5py文件存储

Question

我正尝试使用Google Colab用存储在我的Google驱动器中的数据训练一个UNet神经网络。

我创建了一个核心库，数据集等...但是访问数据很慢。

为了防止这种情况，我使用h5py库构建了一个“ .hdf5”文件。

XDataPath="/content/drive/My Drive/Dataset/data/X"
YDataPath="/content/drive/My Drive/Dataset/data/Y"
h5Path="/content/drive/My Drive/Dataset/data/dataset.hdf5"
nbX=len(os.listdir(XDataPath))
nbY=len(os.listdir(YDataPath))

# CleanData
dst=[os.path.splitext(f)[0] for f in os.listdir(YDataPath)]
src=[os.path.splitext(f)[0] for f in os.listdir(XDataPath)]
for f in src:
  if f not in dst:
    fpth=os.path.join(XDataPath,f+'.jpg')
    os.remove(fpth)
    print(fpth)
for f in dst:
  if f not in src:
    fpth=os.path.join(YDataPath,f+'.png')
    os.remove(fpth)
    print(fpth)

with h5py.File(h5Path,'a') as hfile:
  if not "X" in hfile:
    hfile.create_dataset("X",(nbX,512,512,3))
  if not "Y" in hfile:
    hfile.create_dataset("Y",(nbY,512,512))

for i,Path in tqdm.tqdm_notebook(enumerate(os.listdir(XDataPath)),total=nbX):
    ImPath=os.path.join(XDataPath,Path)
    with h5py.File(h5Path,'a') as hfile:
        with Image.open(ImPath) as f:
            X=np.array(f)
            hfile["X"][i]=X

文件创建正确：

令我惊讶的是，我在Google驱动器上没有看到此文件（只有一个名称相同的0ko文件）。 而且，我没有足够的存储空间来存储它

为什么未在驱动器上创建此文件？ 它存储在哪里？

另一个问题是，当我重新启动环境时，hdf5文件现在为0ko，就像在我的Google驱动器上一样。而且当然是空的！

谢谢

Answer 1

文件已创建并存储在Google Cloud（Colab实例）中。该文件太大，因此无法同步回Google云端硬盘。

因此，我建议您使用GCS存储桶而不是GDrive存储它。