Question

在Spring Batch中，如何循环读取器，处理器和写入器N次？

我的要求是：

我有＆＃34; N＆＃34;没有。顾客/客户。对于每个客户/客户，我需要从数据库（Reader）获取记录，然后我必须处理（处理器）客户/客户端的所有记录，然后我必须将记录写入文件（Writer）。

如何循环弹簧批处理作业N次？

Answer 1

AFAIK我担心这种情况没有框架支持。至少不是你想解决的方式。我建议以不同的方式解决问题：

选项1

一次读取/处理/写入所有客户的所有记录。如果它们都在同一个数据库中，则只能执行此操作。我不建议这样做，因为你必须配置JTA / XA交易，这不值得。

选项2

为每位客户运行一次工作（我认为最好的选择）。在不同的属性文件中保存每个客户端的必要信息（数据库数据连接，客户端过滤记录的值，客户端可能需要的任何其他数据），并通过它必须使用的客户端将参数传递给作业。这样，您可以控制处理哪个客户端以及何时使用bash文件和/或cron。如果您使用Spring Boot + Spring Batch，您可以将客户端配置存储在配置文件（application-clientX.properties）中并运行以下过程：

$>  java -Dspring.profiles.active="clientX"  \
     -jar "yourBatch-1.0.0-SNAPSHOT.jar"     \
     -next

奖金 - 选项3

如果没有abobe符合您的需求，或者您坚持以他们呈现的方式解决问题，那么您可以根据参数动态配置作业，并使用JavaConf为每个客户创建一个步骤：

@Bean
public Job job(){
    JobBuilder jb = jobBuilders.get("job");
    for(Client c : clientsToProcess) {
            jb.flow(buildStepByClient(c));
    };
    return jb.build();
}

同样，我强烈建议你不要这样：丑陋，反对框架哲学，难以维护，调试，你可能还必须在这里使用JTA / XA，......

我希望我能得到任何帮助！

Answer 2

Local Partitioning将解决您的问题。

在您的分区程序中，您将把所有客户端ID放在地图中，如下所示（只是伪代码），

public class PartitionByClient implements Partitioner {

        @Override
        public Map<String, ExecutionContext> partition(int gridSize) {
            Map<String, ExecutionContext> result = new HashMap<>();
            int partitionNumber = 1;
            for (String client: allClients) {
            ExecutionContext value = new ExecutionContext();
            value.putString("client", client);
            result.put("Client [" + client+ "] : THREAD " + partitionNumber, value);
            partitionNumber++;
            }

        } 

        return result;
        }
    }

这只是一个伪代码。您必须查看详细的分区文档。

您必须在@StepScope中标记您的读者，处理者和作者（即哪一部分需要您client的价值）。 Reader将在SQL的client子句中使用此WHERE。您将在阅读器等定义中使用@Value("#{stepExecutionContext[client]}") String client来注入此值。

现在最后一块，您将需要一个任务执行程序，如果您在主分区程序步骤配置中设置此任务执行程序，则等于concurrencyLimit的客户机将并行启动。

@Bean
    public TaskExecutor taskExecutor() {
    SimpleAsyncTaskExecutor simpleTaskExecutor = new SimpleAsyncTaskExecutor();
    simpleTaskExecutor.setConcurrencyLimit(concurrencyLimit);
    return simpleTaskExecutor;
    }

如果您希望一次只运行一个客户端，则

concurrencyLimit将为1。

Spring Batch - 循环读取器，处理器和写入器N次

2 个答案: