我正在创建一个将CSV导入BQ的数据准备流程。这可以正常工作,但是需要太长时间。即使是很小的文件。有办法增加更多的工作工人吗?默认情况下,maxNumWorkers始终为1。
溴 克里斯
答案 0 :(得分:0)
Dataprep第一次执行Dataflow作业时,这些设置将是默认设置。但是,您可以直接使用Dataflow的templates从Dataflow使用不同的参数重新运行这些作业。例如,您可以使用REST API并使用numWorkers
字段来指定要执行作业的工人,因为未指定,服务将尝试选择合理的默认值。有关REST API的更多信息,您可以查看this document。
请记住,它有limitations