Question

我正在使用Google合作实验室，并正在安装Google云端硬盘。访问csv文件时，出现以下错误：

OSError：[错误5]输入/输出错误。

以前没有发生过。

如何像以前一样访问csv文件？

我已经尝试过了，但是没有用：

Input/output error while using google colab with google drive

这是在执行以下代码之后发生的。

for segment_id in tqdm(range(segment_num)):
  with h5py.File(os.path.join(INPUT_PATH, "train.h5"), "r") as f:
    train_answers.append(f['time_to_failure'][segment_id*segment_interval + SEGMENT_LENGTH])

tqdm条前进到37％，然后出现以下错误。

OSError：无法打开文件（文件读取失败：时间= 2019年5月2日星期四14:14:09 ，文件名='./驱动器/我的驱动器/凝视/ LANL-地震-预测/input/train.h5'，文件描述符= 74，错误号= 5，错误消息='输入/输出错误'，错误= 0x7ffc31926d00，总计读取大小= 8，此子读取的字节= 8，实际读取的字节= 18446744073709551615，偏移量= 0）

从那时起，无法从Google合作实验室读取Google云端硬盘上的大文件（如train.csv（9GB））。它给出以下错误。

OSError：[Errno 5]输入/输出错误

有人有同样的问题吗？

有人知道如何解决吗？

Answer 1

Google设置了一些配额，使用Colab时无需显示这些配额。我遇到了同样的问题。基本上，一旦超过限制，您将得到与文件或操作无关的[Errno 5]输入/输出错误。

该问题似乎已解决，因为我要求增加有关存储的配额（每个人最多限制为1 TB）。您可以通过访问以下页面并单击配额来访问配额页面： https://cloud.google.com/docs/quota

如果您不要求增加配额，则可能需要等待7-14天，直到使用率重新设置为0并可以使用全部配额。

我希望这会有所帮助！

Answer 2

我遇到了同样的错误（在对迁移学习进行过于密集的测试期间）。根据谷歌的说法，原因可能是由于使用小文件进行了过多的 I/O 操作，或者是由于共享和更密集使用的资源——每个原因都与谷歌驱动器的使用有关。大多数情况下，1 天后应该刷新配额。

您也可以尝试另一种解决方案（对于像我这样不耐烦的用户） - 复制您的资源（在我的情况下是一个压缩文件夹 data，其中包含文件夹 train 和 validation 和图像）作为将 zip 文件复制到您的 Google 驱动器，然后使用以下命令将其直接解压缩到 Colab VM 中：

!unzip -qq '/content/grive/My Drive/CNN/Datafiles/data.zip'

然后您可以访问文件夹 /content/data/... 中的数据（并告别 I/O 错误；））

Google合作实验室：OSError：[Errno 5]输入/输出错误

2 个答案: