使用Spring云数据流而不是Spring批处理的优势

时间:2016-12-22 21:00:24

标签: spring spring-batch spring-cloud-dataflow spring-cloud-task

我们需要编写一个应用程序来每天读取一个平面文件并写入数据库表。我们计划使用Spring Batch来完成这项工作。

我们正在寻找的限制和补充

1.应用程序本身将在单个VM中运行。它永远不会在任何时候部署在多个VM中。

2.我们将来可能会有其他文件遵循相同的模式。

在这种情况下,使用Spring Data Flow是否提供了超过spring批处理的任何功能或优势?

1 个答案:

答案 0 :(得分:1)

我试图总结Spring Cloud Data Flow(SCDF)在此SO thread中提供的一般功能和简化 - 也许这可能很有用。

在你的情况下,

  

应用程序本身将在单个VM中运行。它永远不会在任何时候部署在多个VM中。

不确定这是一个问题还是一个要求。我将假设您想知道如何扩展批处理作业操作。

如果您有remote partitioned批处理作业,则根据您配置的workers的数量,每个批处理作业都在一个单独的进程/容器中运行master批处理作业中定义的步骤协调工作者和数据分区。这将是并行操作的一个例子 - 这里是sample

  

我们将来可能会有其他文件遵循相同的模式

大。在SCDF中定义并注册批处理作业后,您可以随时启动/重新启动它。您可以使用SCDF的REST-API,Shell或Dashboard来执行此操作。

根据运行SCDF +批处理作业的运行时平台,您可以利用特定于平台的计划程序通过SCDF中公开的REST-API计划批处理作业。