在Google合作实验室中保存文件/图片

时间:2018-10-09 09:02:25

标签: tensorflow keras jupyter-notebook google-colaboratory

目前,我处理400余张图片,并使用它们上传

from google.colab import files
uploaded = files.upload()

这很正常,但是每次我离开协作室时,我都必须重新上传所有图像。十分烦人,因为上传过程大约需要5-10分钟。

有什么可能防止这种情况发生?看来Colaboratory只是在临时保存文件。

我需要使用Google Colaboratory,因为我需要他们的GPU。

先谢谢您了:)

2 个答案:

答案 0 :(得分:4)

据我所知,还没有将数据永久存储在Google Colab VM上的方法,但是有比在files.upload()上更快的在Colab上上传数据的方法。

例如,您可以一次将图像上传到Google云端硬盘,然后1)直接在您的VM中挂载Google云端硬盘,或2)使用PyDrive在VM上下载您的图像。这两个选项都应该比从本地驱动器上载图像更快。

在虚拟机中安装驱动器

  1. 安装Google云端硬盘:

    from google.colab import drive
    drive.mount('/gdrive')
    
  2. 打印位于Drive根目录中的foo.txt的内容:

    with open('/gdrive/foo.txt') as f:
        for line in f:
            print(line)
    

使用PyDrive

看看对此question的第一个答案。

答案 1 :(得分:0)

首先安装您的Google云端硬盘:

# Load the Drive helper and mount
from google.colab import drive

# This will prompt for authorization.
drive.mount('/content/drive')

结果是:

Mounted at /content/drive

用于检查目录挂载运行此命令:

# After executing the cell above, Drive
# files will be present in "/content/drive/My Drive".
!ls "/content/drive/My Drive"

结果是这样的:

07_structured_data.ipynb       Sample Excel file.xlsx
BigQuery recipes           script.ipynb
Colab Notebooks            TFGan tutorial in Colab.txt
Copy of nima colab.ipynb       to_upload (1).ipynb
created.txt            to_upload (2).ipynb
Exported DataFrame sheet.gsheet    to_upload (3).ipynb
foo.txt                to_upload.ipynb
Pickle + Drive FUSE example.ipynb  variables.pickle
Sample Excel file.gsheet