出现此错误时,在没有本地VPC网络的项目中启动数据流作业(2018-07-16_04_25_02-6605099454046602382
)时出现问题
Workflow failed. Causes: Network default is not accessible to Dataflow
Service account
在default
中有一个共享的VPC,它通过一个名为default
且子网为us-central1
的子网连接到项目–但是,用于运行数据流作业的服务帐户不会缝到有权使用它。我给了dataflow-service-producer
服务帐户Compute Network User
,但没有任何明显的效果。关于如何处理的任何想法吗?
答案 0 :(得分:3)
在Cloud Dataflow中使用子网时,需要在运行管道时指定子网参数;但是,对于位于共享VPC网络中的子网,您需要根据以下格式使用完整URL 。
https://www.googleapis.com/compute/v1/projects/<HOST_PROJECT>/regions/<REGION>/subnetworks/<SUBNETWORK>
此外,在这种情况下,建议验证您是否正在将项目的Dataflow服务帐户添加到Shared VPC的项目IAM表中,并授予其“计算网络用户” 角色权限,以确保该服务具有必需的访问范围。
最后,看来Subnetwork parameter的Google官方文档已被很好地收集,并提供了有关此问题的详细信息。
答案 1 :(得分:0)
在--subnetwork
this中使用以下(未记录)完全限定的子网格式可以运行Dataflow作业。其中{PROJECT}
是托管共享VPC的项目的名称,{REGION}
与您在其中运行数据流作业的区域匹配。
--subnetwork=https://www.googleapis.com/compute/alpha/projects/{PROJECT}/regions/{REGION}/subnetworks/{SUBNETWORK}