如何从AI平台作业访问Google Cloud Storage Bucket

时间:2019-05-25 03:16:26

标签: python gcloud google-cloud-ml

我的Google AI平台/ ML引擎培训工作似乎无法访问我放入Google Cloud Storage存储桶中的培训文件。

Google的AI平台/ ML引擎要求您将训练数据文件存储在其Cloud Storage存储桶之一中。从CLI本地访问可以正常工作。但是,当我发送训练作业(确保数据位于Cloud Storage存储桶中的适当位置之后)时,出现错误似乎是由于无法访问存储桶Link URL

错误是由于尝试阅读Google所提供的网页内容给我的感觉,说“嘿,您无权访问此内容”。我看到了这个gaia.loginAutoRedirect.start(5000,和一个带有结尾标志的URL:noautologin=true

我知道AI平台和Cloud Storage之间的权限是一回事,但两者都在同一个项目下。我正在使用的演练至少暗示着,如果在同一项目下,则无需采取进一步的措施。

我假设我需要使用存储区“概述”标签中提供的Link URL。尝试过Link for gsutil,但是python(来自Google的CloudML Samples repo)对于使用gs://感到不安。

我认为Google的示例不足以证明其示例数据来自公共URL而非私有Cloud Storage存储桶。

1 个答案:

答案 0 :(得分:0)

转移以上评论中的答案:

如果URL方法不是公共对象,则好像需要cookie based authentication。与使用Keras sample一样,我建议不要使用带有gs://路径的tf.gfile。如果需要在单独的步骤中从GCS下载文件,则可以使用GCS client library