将Google Cloud Storage文件夹挂载到Google AI Platform Job

时间:2019-08-13 10:41:44

标签: google-cloud-platform google-cloud-storage

我正在尝试使用google ai平台设置基本的pytorch管道。

我不了解google storage如何与ai平台工作结合使用。

我正在尝试将多个Google存储Blob挂载到我的AI平台作业中,但是完全找不到我该怎么做。我需要做两件事:1)从我的python pytorch代码访问数据集,以及2)在训练完成后访问日志和模型

在Google AI平台教程中,我发现的唯一相关概念是通过python google.cloud.storage API手动将数据集下载到作业本地存储,并在程序完成后上传结果。但这肯定在快速的研究迭代情况下是不可接受的(因为数据集很大,并且在训练过程中可能会崩溃)。

这种基本问题的解决方案是什么?

1 个答案:

答案 0 :(得分:0)

您可以使用Cloud Storage Fuse来安装存储桶,并像使用本地文件夹一样使用它,以避免数据下载。