Question

我希望使用不同的filename参数多次启动相同的作业配置，以便同时导入多个文件（每个作业一个文件）。

@Configuration
public class MyJob {

    //the steps contain each a reader, processor and writer
    //reader is @JobScope
    @Bean
    public Job job(Step someStep, Step, someMoreStep) {
        System.out.println("registering job bean");
        return jobBuilderFactory.get(name)
            .start(someStep)
            .next(someMoreStep)
            .build();
    }
}

@Component
public class MyImporter {
    @Autowired
    private JobRegistry jobRegistry;

    @Autowired
    private JobLauncher launcher;

    private static final String FILENAME = "baseFilename";

    @Async
    public void run(String i) {
        p = new JobParametersBuilder();
        p.addDate("date", new Date());
        p.addString("filename", FILENAME + i + ".csv"); //injected via @Value jobParameter to job

        Job job = jobRegistry.getJob("getMyJob");
        launcher.run(job, p.toJobParameters());
    }
}

@Component
public class MyImportManager {
    @Autowired
    private MyImporter importer;

    //starts a  job multiple times with different "filename" parameters,
    //to simulate concurrent file imports with the same configuration job class
    public void start() {
        for (int i = 0; i < 4; i++) {
            importer.run(i);
        }
    }
}

@SpringBootApplication
@EnableBatchProcessing(modular = true)
@EnableAsync
public class MyConfig {

}

问题：我可以开始多个工作，但他们似乎使用相同的reader。如果我运行单个作业i < 1，一切正常。如果我增加i，我就会获得有意义的投入。

我正在使用FlatFileItemReader，其中逐行读取每个值。但是当使用并发导入（来自不同文件）时，输入字符串通常会损坏。

所以我假设我没有正确注册并发进口的工作？但为什么呢？

有趣的是：行"registering job bean"仅打印一次。但不应该像异步作业一样经常打印吗？

Answer 1

ListingResponse response = JsonConvert.DeserializeObject<ListingResponse>(json);不是线程安全的，因此您的reader bean需要处于“作业”范围内。然后你会得到每个工作一个实例。

FlatFileItemReader

如何使用不同的参数同时启动相同的弹簧批处理作业？

1 个答案: