谷歌DataFlow无法写入存储桶

时间:2017-10-14 15:17:38

标签: google-cloud-dataflow

我无法运行示例wordcount数据流。出现错误:

(venv) dh4@GLOW:$ python -m apache_beam.examples.wordcount \
                 --project "$PROJECT"   --runner DataflowRunner \
                 --staging_location $BUCKET/staging \
                 --temp_location $BUCKET/tmp \
                 --output $BUCKET/results/output
  

IOError:无法上传到GCS路径gs://prova_df/staging/beamapp-dh4-1014444431-510588.1505555051.55555:访问被拒绝。请验证凭据是否有效以及您是否具有指定路径的写入权限。

但我在这个桶中没有许可问题:

(venv) dh4@GLOW:$ gsutil cp  paraules.txt gs://prova_df
Copying file://paraules.txt [Content-Type=text/plain]...
- [1 files][   24.0 B/   24.0 B]                                                
Operation completed over 1 objects/24.0 B. 

一些额外信息:

  • 我可以在网络界面上创建文件夹
  • 我已经检查了两次启用的API,一切似乎都正确。
  • 我在owner project roleservice account
  • rm ~/.gsutil/credstore以确保没有缓存凭据。
  • 我正在使用json export GOOGLE_APPLICATION_CREDENTIALS
  • Complete stack error at pastebin保持帖子清洁。

1 个答案:

答案 0 :(得分:2)

写完问题后,我关上笔记本电脑,然后去散步。我拍了一张章鱼的照片。

enter image description here

然后我回到办公室,再次启动笔记本电脑,当我再次尝试没有任何更改时,任何一行配置都没有编码它没有问题:

enter image description here

然后,看起来需要一段时间才能启用所有资源。请耐心等待,用你的相机去捕杀章鱼