如何使用Google提供的数据流模板更改默认网络

时间:2018-01-31 17:31:43

标签: google-cloud-dataflow

我正在尝试使用Google提供的模板PubSub to BigQuery设置数据流作业。但是我在启动时收到此错误:

Message: The resource 'projects/my-project/global/networks/default' was not found

我认为谷歌提供的模板是硬编码的,可以使用default网络。如果我在自动模式下创建default网络,则错误消失。但我们不能在生产中建立default网络。

文档here提到network参数。我尝试在GCP控制台UI中添加一个名为network的附加参数,并传入我们的自定义网络名称。但是我收到了这个错误:

The template parameters are invalid.

有什么方法可以告诉Google提供的数据流模板使用我的自定义网络(在手动模式下创建)而不是default?我有什么选择?

感谢所有帮助!

2 个答案:

答案 0 :(得分:1)

目前,从模板创建的Dataflow管道不支持此功能。现在,您可以在默认VPC网络中运行模板,也可以使用Java或Python SDK提交Dataflow管道并指定network管道选项。

答案 1 :(得分:0)

您可以按照gcloud beta dataflow jobs run中的说明使用gcloud beta命令gcloud beta dataflow jobs run。 它支持[--network=NETWORK][--subnetwork=SUBNETWORK]之类的更多参数,这些参数对于您的用例很有用。