Google Cloud ML和GCS Bucket问题

时间:2017-03-15 00:33:55

标签: google-cloud-storage google-cloud-platform google-cloud-ml

我使用研究论文的开源Tensorflow实现,例如DCGAN-tensorflow。我使用的大多数库都配置为在本地训练模型,但我想使用Google Cloud ML来训练模型,因为我的笔记本电脑上没有GPU。我发现很难更改代码以支持GCS存储桶。目前,我将我的日志和模型保存到/ tmp,然后运行' gsutil'命令在训练结束时将目录复制到gs:// my-bucket(example here)。如果我尝试将模型直接保存到gs:// my-bucket,它就永远不会出现。

对于训练数据,其中一个张量流样本将数据从GCS复制到/ tmp进行训练(example here),但这仅在数据集很小时才有效。我想使用celebA,而且每次运行都要复制到/ tmp太大了。是否有任何关于如何更新本地培训代码以使用Google Cloud ML的文档或指南?

这些实现正在运行各种版本的Tensorflow,主要是.11和.12

1 个答案:

答案 0 :(得分:11)

目前没有明确的指南。基本思想是用file_io模块中的等价物替换所有出现的本机Python文件操作,最值得注意的是:

这些功能将在本地和GCS(以及任何已注册的文件系统)上运行。但请注意,file_io和标准文件操作存在一些细微差别(例如,支持一组不同的'模式')

幸运的是,检查点和摘要编写工作开箱即用,只需确保将GCS路径传递给tf.train.Saver.savetf.summary.FileWriter

在你发送的样本中,这看起来很痛苦。当程序开始只需要执行一次(演示here)时,可以考虑使用猴子修补Python函数来映射到TensorFlow等效项。

作为旁注,this页面上的所有样本都显示从GCS读取文件。