我的Google Colab笔记本未使用我的2TB Google云端硬盘空间

Question

我的Google云端硬盘帐户中有2TB的存储空间。

我想将它们与Cloud Colab（GPU Python 3）一起使用。

我已经安装了Drive空间，但仍然无法使用〜69GB的Colab Storage。

（请参阅：https://stackoverflow.com/a/59513316/9726037）

（1）装入驱动器空间

WORKSPACE_PATH = 'ml/'

drive.mount('/content/drive/', force_remount=True)
ROOT_DIR  = '/content/drive/My Drive/science'
BASE_DIR  = os.path.join(ROOT_DIR, WORKSPACE_PATH)

输出：安装在/ content / drive /

（2）从GCS下载了大约40GB的数据：

bucker_name = 'my_bucket_name'
!gsutil -m cp gs://{bucket_name}/* 'path_to_my_mounted_drive'

输出：

Copying gs://xxx/test.h5...
Copying gs://xxx/train.h5...
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device

当我检查colab存储可用空间时：我只有3GB / 69GB，而不是2 TB ...

我做错了什么？

Answer 1

据我了解，安装驱动器后，需要缓存Google云端硬盘中的数据。即使您在GDrive上有2TB的存储空间，您仍将拥有与以前相同的限制，因为需要复制和缓存数据。

因此，您可能需要复制一个零件，将其删除，然后复制下一个零件。这可能会慢一点。