标签: python google-cloud-dataflow
我正在运行一个管道,其中每个作业都使用python中的SimpleITK进行图像注册,这得益于多个内核和额外的内存。
使用数据流时,如果我将工作程序类型设置为vCPU超过1个的任何类型,我相信工作程序上的每个vCPU都会发送一个作业。这对我来说是一个瓶颈,因为他们正在共享资源,而无法高效运行。
是否可以确保每个工人一次只获得一份工作,而与机器类型无关?