Question

我需要确定14条记录的作用域。 chunkSize为10 页面大小为2。它只作用域10条记录。

我用不同的方式检查。 chunkSize = 5 pageSize = 10 仍然只作用域10条记录，而不是全部14条。

仅当chunksize = 11且pageSize = 10或chunkSize = 10且pageSize = 20时工作正常

 build.gradle

  partition:
    defaultPartitionSize: 5
    partitionScopeChunkSize: 10
  jobs:
    jpaPagingSize: 2
  ===================ReaderClass============================ 
  public class PagingItemReader extends 
  JpaPagingItemReader<ScopeParams> {

     public PagingItemReader (
                              EntityManager entityManager,
                              EntityManagerFactory entityManagerFactory,
                              @Value("${spring.jobs.jpaPagingSize}") int jpaPagingSize)
        Map<String, Object> parameterValues = new HashMap<>();
        this.setQueryProvider(
                 ScopeParamsQueryProvider.buildForContinuousMatchScoping(
                      entityManager, 
                      IndustryCodes.valueFromCode(industryCd)));
        this.setEntityManagerFactory(entityManagerFactory);
        this.setPageSize(jpaPagingSize);
        this.setSaveState(true);
        this.setParameterValues(parameterValues);

  }
}

 ==============WriterClass==========
 public class JpaItemWriter<T> extends JpaItemWriter<T> {
   private JpaRepository<T, ? extends Serializable> repository;

   public JpaItemWriter(JpaRepository<T, ?> repository) {
    this.repository = repository;
    }

  @Override
  @Transactional
  public void write(List<? extends T> items) {
    persistEntities(items);
  }

  private void persistEntities(List<? extends T> list) {
    list.stream()
            .peek(item -> log.info("Writing={}", item))
            .forEach(repository::save);
  }

}

 ===================Step Configuration========
public Step WorkStep(StepBuilderFactory stepBuilderFactory,
              PagingItemReader ItemReader,
              ItemProcessor ItemProcessor,
              JpaItemWriter<Scope> itemWriter) {
    return stepBuilderFactory.get(WORK_MATCH)
            .<Scope, ExecutionScope>chunk(10)
            .reader(ItemReader)
            .processor(ItemProcessor)
            .writer(itemWriter)
            .build();
}

处理器代码

public class MatchItemProcessor implements ItemProcessor<Scope,ExecutionScope> { 

public ExecutionScope process(Scope financialTransaction) throws Exception { 
return batchExecutionScope; 
} 
} 

private ExecutionScope prepareData(Scope transaction) { ExecutionScope executionScope = new ExecutionScope(); executionScope .setIndustryTypeCode(financialTransaction.getIndustryTypeCode()); return executionScope ; }

我正在使用发生读取的相同字段来更新处理器中的其他对象。所以我正在阅读类中的“ Scope”实体。在处理器类中，创建execitionScope对象并基于范围更新值并将execitionScope持久化在数据库中。

两个实体都指向不同的表。 ScopeParam击中 fin_t 表，ExecutionScope命中 exec_scope 表。

请给我建议。

Answer 1

问题已解决。我在此链接上获得了帮助。 Spring batch jpaPagingItemReader why some rows are not read?

实际问题

JPAPagingItemReader使用偏移量和限制，并且如果在编写器/块中将范围查询查询输出进行了修改，则下一页将已经具有已修改的数据集，并且偏移量将继续跳过未处理的数据。由于我们的范围查询忽略了已作为任何活动批次的一部分进行交易的事务，因此，一旦第一个页面集被剔除，它们就会被遗漏。
解决方案修改了我的范围查询，并忽略了当前正在运行的作业。

使用JpaPagingItemReader时无法基于不同的pageSize和ChunkSize获取所有记录

1 个答案: