通过SCDF + Kubernetes安排任务时,如何解决SCDF创建多个PODS的问题?

时间:2020-05-29 16:52:08

标签: java spring-boot kubernetes spring-batch spring-cloud-dataflow

嗨,我在openshift中运行SCDF。我在这里有两个问题。

问题1

当我使用SCDF中的“计划任务”选项每分钟执行一次任务时,它将为openshift中的每次执行创建一个pod。并且即使工作完成后,豆荚仍保持运行状态。假设有每15分钟运行一次的作业,我想一天结束时会有很多Pod处于运行模式。我认为一旦作业返回完成状态,便应该有一种将这些PODS移至完成状态的方法。但是我不知道怎么办。

Same task running every 1 minute. And the pod Status is running even after job completion

我正在使用的简单任务

@Configuration
@EnableBatchProcessing
@EnableTask
public class Facdata_loaderLoader extends BatchJobLoader{

    @Bean
    public JdbcCursorItemReader<> data_loaderReader()
    {
        return JdbcCursorItemReader; // An instance of it
    }

    @Bean
    public Step step01_data_loader()
    {
        return stepBuilderFactory
                .get("S1-CU-Loaddata_loader")
                .<DomainObjects, data_loader> chunk(100)
                .reader(data_loader_Reader())
                .writer(data_loader_writer)
                .listener(listener)
                .allowStartIfComplete(false)
                .startLimit(2)
                .build();
    }

    @Bean
    public Job loaddata_loader()
    {
        return jouilderFactory
                .get(data_loader_JOB_NAME)
                .incrementer(new RunIdIncrementer())
                .start(step_00_job_details_session())
                .next(step_01_data_loader())
                .listener(jobExecutionListener)
                .build();
    }

}

这里缺少任何配置吗?

问题2

几次执行几次后,每分钟运行一次任务,则下一个作业执行开始引发错误,因为“作业实例已存在”。以下例外。

Caused by: org.springframework.batch.core.repository.JobInstanceAlreadyCompleteException: A job instance already exists and is complete for parameters={-spring.cloud.task.executionid=63, run.id=5, -spring.cloud.data.flow.platformname=default, -spring.datasource.username=User_name, -spring.cloud.task.name=SingleJob, -spring.datasource.password="Password", -spring.datasource.driverClassName=oracle.jdbc.OracleDriver, -spring.datasource.url="datasource_Url".  If you want to run this job again, change the parameters.
    at org.springframework.batch.core.repository.support.SimpleJobRepository.createJobExecution(SimpleJobRepository.java:131)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:344)

在正常的春季批处理中,我可以使用jobLauncher开始我的工作,并传递Job_Id作为参数。如下所示。

JobParameters param = new JobParametersBuilder()
                            .addString("JobID", String.valueOf(System.currentTimeMillis())).toJobParameters();
jobLauncher.run(facSessionsLoader.loadBBSessions(), param);

但是当我通过SCDF安排任务时如何在Task中做到这一点?

0 个答案:

没有答案