我想从“自定义数据流模板”启动GCP数据流,将“地区”设置为“欧洲”。结果,我在“管道选项”中获得的区域等于europe-west1
,并且我的VM也正在欧洲运行,但是“作业”选项的区域设置为“ us-central1
”(在“作业摘要”部分-存储元数据的区域和为这项工作处理的。)
上传模板时,我输入了选项--region=europe-west1
。
从模板开始数据流时,我还将region
设置为europe-west1
。我也尝试设置区域并将区域设置到欧洲,但是我仍然得到相同的结果。设置作业区域-区域端点的文档只提到了这一参数(region
)。
我想念什么吗?我也该如何将Job Region设置为欧洲?
更新:它在命令行中与--region=europe-west1
一起使用,但是我需要从Airflow启动我的数据流。
答案 0 :(得分:0)
自定义模板UI似乎缺少选择区域的选项。我跟着Dataflow团队进行了跟进。感谢您指出这一点。
相反,您也许可以使用命令行工具启动模板作业。请尝试一下
gcloud beta dataflow jobs run myJob --gcs-location=<gcs_template_location> --region=europe-west1
Usage: gcloud beta dataflow jobs run JOB_NAME --gcs-location=GCS_LOCATION
[optional flags]
optional flags may be --help | --max-workers | --network | --num-workers |
--parameters | --region | --service-account-email |
--staging-location | --subnetwork |
--worker-machine-type | --zone
答案 1 :(得分:0)
较旧版本的Airflow指向错误的端点,即没有区域参数的端点。
我可以看到GCP UI也解决了这个问题,现在可以从具有适当区域(区域端点)的UI启动数据流模板。