可以使用Spring Cloud数据流基于负载动态调配slave进程吗?

时间:2017-02-02 15:25:41

标签: spring-cloud-dataflow

我们目前正在使用Spring批处理 - 远程分块来扩展批处理过程。考虑使用云数据流但想知道是否可以动态配置基于负载的Slaves? 我们部署在Google Cloud中,因此如果云数据流符合我们的需求,我们还想考虑使用针对kubernetes的Spring Cloud数据流支持吗?

1 个答案:

答案 0 :(得分:1)

使用Spring Cloud Task的批量扩展(特别是void printArray(int *pointerToInt, size_t size) { for (; size--; ++pointerToInt) { printf("Value @ %p = %d\n", pointerToInt, *pointerToInt); } } )时,将根据需要动态启动工作程序。 DeployerPartitionHandler允许您配置最大数量的工作程序,然后它将每个分区作为独立工作者处理到最大值(在其他分区完成时处理其余分区)。 "动态"方面实际上由PartitionHandler返回的分区数控制。返回的分区越多意味着工作人员的启动越多。

您可以看到一个配置为在此仓库中使用CloudFoundry的简单示例:https://github.com/mminella/S3JDBC它与您需要的主要区别在于您将Partitioner换出适用于CloudFoundryTaskLauncher及其适当的配置。