RAM在Google Colab中崩溃

Question

我正在研究用于机器学习/深度学习技术的图像数据集。目前，我的图像数据大小为20 GB。而Google colab最多可提供25GB RAM。因此，google colab每次都崩溃。请注意，我需要应用诸如PCA之类的降维技术，该技术要求所有数据一次都出现在RAM中。否则，我可能会想到将训练数据分成更小的部分。

如何获得更多RAM或其他任何技术来解决此问题？有人可以帮忙吗？

Answer 1

我认为您可以将数据下载到本地并使用this example中显示的tf.keras.preprocessing.image.ImageDataGenerator。

根据本地文件夹的路径更新示例中的base_dir。 ImageDataGenerator的作用是，一次仅加载少量图像（您可以设置编号，称为batch_size）并进行处理。请检查示例以获取更多详细信息。