在分布式系统下调度作业

Question

是否有一个轻量级的开源工具，用于在分布式系统下调度作业？ 我想将配置文件发送到从属服务器，一个配置文件代表一个工作。

托管服务器维护所有配置文件，它还维护一个映射表，记录配置文件和从属服务器之间的映射。

要求似乎很简单：

例如，有10个从属服务器和5000个配置文件（作业）。 首先，10个从属服务器分别获得500个配置文件，只需将配置文件放在从属服务器的配置文件夹下。 如果修改或删除了某些配置文件。托管服务器将搜索映射表并通知从属服务器同步更改。 如果添加了一些新的配置文件。托管服务器会将这些配置文件分派给某些从属服务器。

似乎我可以通过RMI实现这一点，是否安全？

Answer 1

查看Spring batch是否对此案例有用。它对于执行一系列作业很有用。它由READ-PROCESS-WRITE组成，即从资源（xml，csv，db）读取数据，处理它并写入db。它分批处理这些批处理，并且还维护哪个批处理成功处理，哪个批处理不能再次重新启动。 它解决了许多用例，从文件夹X读取文件，处理数据并写入文件夹Y等。