如何为模板数据流作业不仅设置管道区域设置作业区域?

时间:2019-07-12 14:17:49

标签: google-cloud-platform google-cloud-dataflow

我想从“自定义数据流模板”启动GCP数据流,将“地区”设置为“欧洲”。结果,我在“管道选项”中获得的区域等于europe-west1,并且我的VM也正在欧洲运行,但是“作业”选项的区域设置为“ us-central1”(在“作业摘要”部分-存储元数据的区域和为这项工作处理的。)

上传模板时,我输入了选项--region=europe-west1。 从模板开始数据流时,我还将region设置为europe-west1。我也尝试设置区域并将区域设置到欧洲,但是我仍然得到相同的结果。设置作业区域-区域端点的文档只提到了这一参数(region)。

我想念什么吗?我也该如何将Job Region设置为欧洲?

更新:它在命令行中与--region=europe-west1一起使用,但是我需要从Airflow启动我的数据流。

2 个答案:

答案 0 :(得分:0)

自定义模板UI似乎缺少选择区域的选项。我跟着Dataflow团队进行了跟进。感谢您指出这一点。

相反,您也许可以使用命令行工具启动模板作业。请尝试一下

gcloud beta dataflow jobs run myJob --gcs-location=<gcs_template_location> --region=europe-west1

Usage: gcloud beta dataflow jobs run JOB_NAME --gcs-location=GCS_LOCATION 
[optional flags]
optional flags may be --help | --max-workers | --network | --num-workers |
--parameters | --region | --service-account-email |
--staging-location | --subnetwork |
--worker-machine-type | --zone

答案 1 :(得分:0)

较旧版本的Airflow指向错误的端点,即没有区域参数的端点。

我可以看到GCP UI也解决了这个问题,现在可以从具有适当区域(区域端点)的UI启动数据流模板。