如何在Google Colab中加载30GB的数据集

Question

我有一个30GB的数据集。我需要将数据集上传到google colab。将数据集上传到google colab的过程是什么

Answer 1

这取决于“拥有30GB数据集”的含义。如果此数据集在您的本地计算机上，则需要：

• 首先将数据集上传到Google云端硬盘
• 然后将您的Google云端硬盘安装到colab笔记本中。

如果在线数据库上有数据集，则需要：

• 将Google驱动器安装到笔记本电脑上
• 然后，直接将其下载到您的Google驱动器中

您可以使用此编码将Google驱动器安装到笔记本上：

import os
from google.colab import drive

drive.mount('/content/gdrive')
ROOT = "/content/gdrive/My Drive/"
os.chdir(ROOT)

如果数据在服务器上，则可以通过在笔记本单元中运行以下代码直接下载数据。

!wget [dataset_url]

Answer 2

如果您的问题是没有足够的空间，则可以更改为GPU运行时以获得350 GB的空间。

MENU > Runtime > Change runtime type > Hardware accelerator = GPU

此过程与@Anwarvic的答案相同。

Answer 3

您可以通过将GPU从TPU更改为TPU来获得更多空间

MENU>运行时>更改运行时类型>硬件加速器= TPU