Google Colab从Google云端硬盘读取数据(图像)的速度非常慢

时间:2018-10-22 12:53:56

标签: image dataset google-colaboratory

我使用以下代码将Google云端硬盘连接到Google Colab:

# Load the Drive helper and mount
from google.colab import drive

# This will prompt for authorization.
drive.mount('/content/drive')

现在,当我想读取驱动器中包含图像的一系列文件夹时,与我的电脑相比,它的运行速度非常慢!

而且我注意到,如果我第二次运行代码,则在上一次运行中已经读取的文件夹会更快地加载。

您对此问题有任何建议吗? 谢谢。

1 个答案:

答案 0 :(得分:0)

对我来说,最好的方法是压缩文件,然后将其解压缩到VM磁盘中。

将文件读取到VM磁盘比从云端硬盘单独读取每个文件要快得多。

假设您在本地计算机的“数据”文件夹中拥有所需的图像或数据。压缩数据以获取Data.zip并将其上传到云端硬盘(如果云端硬盘上仅包含这些文件,则也可以在其中压缩它们)。

现在,安装驱动器并运行以下命令:

!unzip "/content/drive/My Drive/path/to/Data.Zip" -d "/content"

现在修改您的所有数据路径以通过/ content / Data,读取图像将更快得多。

**根据我对上一个问题的回答进行了调整,但最初我看了两个问题都无济于事。