在GCP上将更多工作人员添加到数据流工作

时间:2018-09-03 21:20:41

标签: google-cloud-platform google-cloud-dataflow google-cloud-dataprep

我正在创建一个将CSV导入BQ的数据准备流程。这可以正常工作,但是需要太长时间。即使是很小的文件。有办法增加更多的工作工人吗?默认情况下,maxNumWorkers始终为1。

溴 克里斯

1 个答案:

答案 0 :(得分:0)

Dataprep第一次执行Dataflow作业时,这些设置将是默认设置。但是,您可以直接使用Dataflow的templates从Dataflow使用不同的参数重新运行这些作业。例如,您可以使用REST API并使用numWorkers字段来指定要执行作业的工人,因为未指定,服务将尝试选择合理的默认值。有关REST API的更多信息,您可以查看this document

请记住,它有limitations