GCP数据流错误：路径“ gs：// ...”不是有效的文件模式。该模式的格式必须为“ gs：// <bucket> / path / to / file”

Question

我正在尝试在GCP控制台中创建从Pub-Sub到BigQuery的数据流。

在“从模板创建作业”屏幕中，我在“临时位置”框中输入什么时遇到麻烦。它显示“用于写入临时文件的路径和文件名前缀。例如：gs：// MyBucket / tmp”。

所以我指定了以下内容：“ gs：// $ {GOOGLE_CLOUD_PROJECT} -test / dataflow / tmp”

但是我遇到此错误（顺便说一句，数据流文件夹在那里）：

Path "gs://${GOOGLE_CLOUD_PROJECT}-test/dataflow/tmp" is not a valid  filepattern. The pattern must be of the form "gs://<bucket>/path/to/file". 

我尝试了不同的模式，但无济于事。知道如何解决这个问题吗？

Answer 1

它抱怨想要一个水桶...

  

该模式的格式必须为“ gs：// [bucket] / path / to / file”。

np.std

对后缀export PROJECT_ID=$(gcloud config list --format 'value(core.project)') export BUCKET_NAME="${PROJECT_ID}-test" gsutil "gs://${BUCKET_NAME}/dataflow/tmp" 很奇怪，我只是试图在代码中反映出来。

一个人可以用-test获得所有有效的BUCKET_NAME。