在Google Cloud Dataflow中的每个GCE实例中实例化了多少个JVM?

时间:2015-01-07 17:56:32

标签: google-cloud-dataflow

我总是保证每个GCE实例只有1个数据流工作者JVM,或者我可能最终会遇到调度程序在单个GCE实例上旋转多个JVM的情况 - 例如,如果有可能存在多个转换,准备好运行了,但运行它们的GCE实例相对较少?

1 个答案:

答案 0 :(得分:2)

Dataflow服务不保证每个GCE实例的工作JVM数量。

在当前实现中,每个VM有1个worker。该工作程序实际上在Docker容器内运行,该容器提供与主机上其他进程的隔离。

为了更好地利用多核虚拟机,每个虚拟机的工作人员很有可能在未来发生变化。

同样,现在我们在JVM中使用单个线程来处理工作。

您可以将工作单位视为要由一个或多个转换处理的记录子集