关闭数据流上的跨员工作业并行性?

时间:2019-03-21 01:38:47

标签: python google-cloud-dataflow

我正在运行一个管道,其中每个作业都使用python中的SimpleITK进行图像注册,这得益于多个内核和额外的内存。

使用数据流时,如果我将工作程序类型设置为vCPU超过1个的任何类型,我相信工作程序上的每个vCPU都会发送一个作业。这对我来说是一个瓶颈,因为他们正在共享资源,而无法高效运行。

是否可以确保每个工人一次只获得一份工作,而与机器类型无关?

0 个答案:

没有答案