Question

我正在处理70gb的数据集

早先使用df -BG命令

我被人展示了

Filesystem     1G-blocks  Used Available Use% Mounted on

overlay             359G    6G      335G   2% /

tmpfs                 7G    0G        7G   0% /dev

tmpfs                 7G    0G        7G   0% /sys/fs/cgroup

/dev/root             2G    1G        1G  44% /opt/bin

tmpfs                 7G    1G        7G   4% /usr/lib64-nvidia

/dev/sda1           365G    8G      358G   3% /etc/hosts

shm                   1G    0G        1G   0% /dev/shm

tmpfs                 7G    0G        7G   0% /sys/firmware

突然之间它已变为

Filesystem     1G-blocks  Used Available Use% Mounted on

overlay              40G    5G       33G  14% /

tmpfs                 7G    0G        7G   0% /dev

tmpfs                 7G    0G        7G   0% /sys/fs/cgroup

/dev/sda1            46G   40G        6G  88% /etc/hosts

shm                   1G    0G        1G   0% /dev/shm

tmpfs                 7G    0G        7G   0% /sys/firmware

有人可以建议任何可能的方法来制作一个超过300Gbs的新笔记本电脑或任何可能的方式回到以前的状态。

Answer 1

我有同样的问题。我不确定这是否是解决方案，因为我还没有对其进行彻底的测试，但是[Python 2 / No GPU]和[Python 3 / No GPU]运行时似乎只有40GB的存储空间，而[Python 3 / GPU]运行时具有359GB的存储空间。

通过转到“运行时”>“更改运行时类型”，尝试将笔记本运行时类型更改为[Python 3 / GPU]。希望对您有帮助！

Answer 2

~~使用google驱动器无法正常工作~~，如果文件在google驱动器上，则由于文件过多，将无法读取整个目录。从我所有的测试中，我无法使其与包含超过15k文件的目录一起使用。 ~~您必须有足够的空间才能在VM上下载数据集。~~

***更新：可以正常工作了！

伙计们，我想出了如何使用Google云端硬盘将整个COCO-2017数据集导入Colab。基本上，我将train2017和test2017细分为最多具有5000个文件的子目录（我注意到Colab只能从目录中读取大约15,000个文件，所以5000个似乎是一个不错的选择）。以下是该代码：https://github.com/sawyermade/detectron2_pkgs/tree/master/dataset_download

然后，我使用rclone将整个该死的数据集上传到Google云端硬盘，并与拥有链接的任何人切碎，可以查看：https://drive.google.com/drive/folders/1EVsLBRwT2njNWOrmBAhDHvvB8qrd9pXT?usp=sharing

一旦您在Google云端硬盘中拥有共享，就为其创建一个快捷方式，以便Colab可以访问它。然后，我只在本地目录中为火车创建118287，为测试符号链接创建40670。到目前为止，它的工作就像一种魅力。我什至将所有输出保存到Google云端硬盘，以便12小时后即可恢复。这是该笔记本：https://colab.research.google.com/drive/1OVStblo4Q3rz49Pe9-CJcUGkkCDLcMqP

我现在正在训练面罩rcnn，完成后会报告结果，但是到目前为止看起来还不错。

Answer 3

如果您要为Google驱动器中的额外存储空间付费，则可以将驱动器安装到/ content / drive /文件夹中

如下

from google.colab import drive
drive.mount('/content/drive')
> Then it will ask you for auth code

您甚至可以将其用于解压缩数据集 （我的情况是我在Colab上有足够的空间来下载18G的Coco数据集，但没有足够的空间来解压缩它）

!unzip /content/train2017.zip -d /content/drive/My\ Drive/COCO/train_2017

Answer 4

我面临类似的问题，我需要更多的RAM空间，colab主机仅提供16G RAM内存。

我认为我们没有解决这个问题的好方法。唯一可能的解决方案是向Google付费以使用其Google Cloud Platform服务，然后您可以自己和用钱自定义主机的硬件配置。

也许另一个解决方案正在加入Google的云团队，但这对大多数人来说比第一个解决方案更加困难。

感谢您的提问。我真的很想看到任何人都可以回答并证明我的回答是错误的。

如何增加Google Colab存储

4 个答案: