我们目前正在使用Spring批处理 - 远程分块来扩展批处理过程。考虑使用云数据流但想知道是否可以动态配置基于负载的Slaves? 我们部署在Google Cloud中,因此如果云数据流符合我们的需求,我们还想考虑使用针对kubernetes的Spring Cloud数据流支持吗?
答案 0 :(得分:1)
使用Spring Cloud Task的批量扩展(特别是void printArray(int *pointerToInt, size_t size) {
for (; size--; ++pointerToInt) {
printf("Value @ %p = %d\n", pointerToInt, *pointerToInt);
}
}
)时,将根据需要动态启动工作程序。 DeployerPartitionHandler
允许您配置最大数量的工作程序,然后它将每个分区作为独立工作者处理到最大值(在其他分区完成时处理其余分区)。 "动态"方面实际上由PartitionHandler
返回的分区数控制。返回的分区越多意味着工作人员的启动越多。
您可以看到一个配置为在此仓库中使用CloudFoundry的简单示例:https://github.com/mminella/S3JDBC它与您需要的主要区别在于您将Partitioner
换出适用于CloudFoundryTaskLauncher
及其适当的配置。