Question

我有一个持续9分钟的治疗，我想通过使用线程执行器来减少执行时间。

我的读者在数据库中读取了1200行并制作了一个UNPIVOT，它为我提供了56 036行写入csv文件。

我尝试了几种方法，但没有时间差异，我的印象是没有考虑配置。

@Bean
@StepScope
public ItemReader<DmNebefPdhExportRetenuCSV> datamartEffRetenuItemReader(
        @Value("#{jobParameters['dateExport']}") Date dateExport) throws Exception {
    PagingQueryProvider query = createEffRetenuQuery();
    Map<String, Object> parameters = new HashMap<>();
    parameters.put("dateExport", dateExport);

    JdbcPagingItemReader<DmNebefPdhExportRetenuCSV> reader = new JdbcPagingItemReader<>();
    reader.setDataSource(sdmDataSource);
    reader.setParameterValues(parameters);
    reader.setQueryProvider(query);
    reader.setFetchSize(1000);
    reader.setPageSize(1000);
    reader.setRowMapper(new BeanPropertyRowMapper<>(DmNebefPdhExportRetenuCSV.class));

    return reader;
}

@Bean
@StepScope
FlatFileItemWriter<DmNebefPdhExportRetenuCSV> exportEffRetenuItemWriter(
        @Value("#{jobParameters['dateExport']}") Date dateExport) {
    // Construction du Header
    StringHeaderWriter headerWriter = new StringHeaderWriter(EXPORT_EFF_RETENU_CSV_HEADER);

    String newExportFileVersion = getExportRetenuVersion(dateExport);

    // Nom du fichier d'export
    String csvFileName = createEffRetenuExportFileName(dateExport, newExportFileVersion);

    // Chemin complet d'enregistrement du fichier
    String exportFilePath = String.join("/", exportArchiveCreRetenuPath, csvFileName);

    // Définition du délimiteur et des champs à mapper
    LineAggregator<DmNebefPdhExportRetenuCSV> lineAggregator = effRetenuLineAggregator();

    // Put dans le context pour récupérer dans le listener
    exportEffRetenuJobListener.getJobExecution().getExecutionContext().put("exportFilePath", exportFilePath);
    exportEffRetenuJobListener.getJobExecution().getExecutionContext().put("csvFileName", csvFileName);
    exportEffRetenuJobListener.getJobExecution().getExecutionContext().put("newExportFileVersion",
            newExportFileVersion);

    FlatFileItemWriter<DmNebefPdhExportRetenuCSV> csvFileWriter = new FlatFileItemWriter<>();
    csvFileWriter.setShouldDeleteIfEmpty(true);
    csvFileWriter.setHeaderCallback(headerWriter);
    csvFileWriter.setResource(new FileSystemResource(exportFilePath));
    csvFileWriter.setLineAggregator(lineAggregator);

    return csvFileWriter;

}

@Bean
public Step exportCSVStep() throws Exception {
    return stepBuilderFactory.get("exportCSVStep")
            .<DmNebefPdhExportRetenuCSV, DmNebefPdhExportRetenuCSV>chunk(100)
            .reader(datamartEffRetenuItemReader(WILL_BE_INJECTED))
            .listener(readListener)
            .writer(exportEffRetenuItemWriter(WILL_BE_INJECTED))
            .listener(writeListener)
            .taskExecutor(taskExecutor())
            .throttleLimit(50)
            .build();
}

@Bean
public TaskExecutor taskExecutor() {
    ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor ();
    taskExecutor.setMaxPoolSize(50);
    taskExecutor.afterPropertiesSet();
    return taskExecutor;
}

@Bean
public Job exportEffRetenuJob() throws Exception {
    return jobBuilderFactory
            .get("exportEffRetenuJob")
            .incrementer(new RunIdIncrementer())
            .listener(exportEffRetenuJobListener)
            .flow(exportCSVStep()).end().build();
}

我也尝试过使用新的SimpleAsyncTaskExecutor（）。

将setFetchSize（）和setPageSize（）添加到我的阅读器，治疗时间从9分钟减少到10秒。但ThreadExecutor似乎无法运作。

日志：

没有TaskExecutor：12,751秒

[2018-01-03 11:41:32,087] INFO  ExportEffRetenuJobListener - Start job exportEffRetenuJob - export month 04-2017 
[2018-01-03 11:41:44,838] INFO  ExportEffRetenuJobListener - End job : exportEffRetenuJob - export month : 04-2017 - statut : COMPLETED

使用TaskExecutor：11,328秒

[2018-01-03 11:42:55,439] INFO  ExportEffRetenuJobListener - Start job exportEffRetenuJob - export month 04-2017 
[2018-01-03 11:43:06,767] INFO  ExportEffRetenuJobListener - End job : exportEffRetenuJob - export month : 04-2017 - statut : COMPLETED

用240 000行测试读/写

使用TaskExecutor：123秒

没有TaskExecutor：127秒

我认为我没有很好地配置任务执行程序。

Answer 1

您必须为执行人设置taskExecutor.setCorePoolSize(50)。默认值为1，因此您仍然只能获得一个线程。尝试设置{{1}}并重新运行您的工作。

Answer 2

我有类似的问题。在运行批处理时，日志语句只提到taskExecutor-1，即只创建了一个线程。我更新了我的TaskExecutor bean，如下所示，这解决了我的问题。

@Bean
        public TaskExecutor taskExecutor() {
            ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
            taskExecutor.setMaxPoolSize(4);
            taskExecutor.afterPropertiesSet();
        taskExecutor.setCorePoolSize(20);
            taskExecutor.setQueueCapacity(8)

            return taskExecutor;
        }

如果处理不是主要瓶颈，请查看您的用例，我认为分区将是这种情况下最佳的扩展选项。 Partitioning

线程执行器不能正常工作

2 个答案: