谷歌 colab 缓存谷歌驱动器内容

Question

我在谷歌驱动器上有一个大约 20GB 的数据集。 我使用生成器将数据集拉入我的 keras/TF 模型，加载文件（每批）的开销非常大。

我想将内容预取为一个操作，然后简单地从本地 VM 磁盘中提取

我试过了：

from google.colab import drive
drive.mount('/content/drive')
!mkdir -p $RAW_NOTEBOOKS_DIR
!cp $RAW_NOTEBOOKS_DIR $LOCAL_NOTEBOOKS_DIR

但是，此代码段运行会立即完成执行（因此它显然没有下载数据 - 这是 cp 命令的意图（从云端硬盘复制到本地）。

这可能吗？

---

RAW_NOTEBOOKS_DIR = "/content/drive/My\ Drive/Colab\ Notebooks"

Answer 1

google codelab 上有一个很好的例子，他们将数据集写入本地 TFRecords：

https://codelabs.developers.google.com/codelabs/keras-flowers-tpu/#0

您可以在这里找到更多信息：

https://keras.io/examples/keras_recipes/tfrecord/

因此，无需每次从 Google Drive 读取数据，您只需读取一次并将其写入本地内存中的 TFRecord，然后将其传递给模型进行训练。

如果您按照指南进行操作非常简单。