我正在尝试使用Google提供的模板PubSub to BigQuery
设置数据流作业。但是我在启动时收到此错误:
Message: The resource 'projects/my-project/global/networks/default' was not found
我认为谷歌提供的模板是硬编码的,可以使用default
网络。如果我在自动模式下创建default
网络,则错误消失。但我们不能在生产中建立default
网络。
文档here提到network
参数。我尝试在GCP控制台UI中添加一个名为network
的附加参数,并传入我们的自定义网络名称。但是我收到了这个错误:
The template parameters are invalid.
有什么方法可以告诉Google提供的数据流模板使用我的自定义网络(在手动模式下创建)而不是default
?我有什么选择?
感谢所有帮助!
答案 0 :(得分:1)
目前,从模板创建的Dataflow管道不支持此功能。现在,您可以在默认VPC网络中运行模板,也可以使用Java或Python SDK提交Dataflow管道并指定network
管道选项。
答案 1 :(得分:0)
您可以按照gcloud beta dataflow jobs run中的说明使用gcloud beta命令gcloud beta dataflow jobs run
。
它支持[--network=NETWORK]
和[--subnetwork=SUBNETWORK]
之类的更多参数,这些参数对于您的用例很有用。