可以将Spring重试与Spring Batch FlatFileItemReader一起使用

时间:2016-08-09 21:45:58

标签: java spring spring-batch spring-retry

我有以下ItemReader

import org.springframework.batch.item.ExecutionContext;
import org.springframework.batch.item.ItemStreamException;
import org.springframework.batch.item.file.FlatFileItemReader;
import org.springframework.batch.item.file.LineMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.core.io.FileSystemResource;
import org.springframework.retry.annotation.Retryable;
import org.springframework.stereotype.Service;

@Service
public class MyReader extends FlatFileItemReader<Holding> {

    @Autowired
    public MyReader(LineMapper<Holding> lineMapper, File loadFile) {
        setResource(new FileSystemResource(loadFile));
        final int NUMBER_OF_HEADER_LINES = 1;
        setLinesToSkip(NUMBER_OF_HEADER_LINES);
        setLineMapper(lineMapper);
    }

    @Override
    @Retryable(value=ItemStreamException.class, maxAttempts=5,  backoff=@Backoff(delay=1800000))
    public void open(ExecutionContext executionContext) throws ItemStreamException {
                super.open(executionContext);
    }
}

运行作业时,要读取的文件(即loadFile)可能可用,也可能不可用。如果文件不可用,我希望读者睡眠~30分钟,然后重试打开文件。如果在五次尝试之后,找不到该文件,它可能会失败,因为它通常会抛出ItemStreamException

不幸的是,上面的代码不会尝试重试打开文件。它会在第一次打开调用时抛出ItemStreamException并且不会重试打开。

有人可以解释一下如何做到这一点吗?注意:我@EnableRetry班上有SpringBootApplication

2 个答案:

答案 0 :(得分:0)

这个有效。我做了一些小改动,因为我不了解你的课程。

<强>的build.gradle

buildscript {
    repositories {
        mavenCentral()
    }
    dependencies {
        classpath(
                "org.springframework.boot:spring-boot-gradle-plugin:1.4.0.RELEASE",
        )
    }
}

apply plugin: 'java'
apply plugin: 'spring-boot'

tasks.withType(JavaCompile) {
    sourceCompatibility = JavaVersion.VERSION_1_8
    targetCompatibility = JavaVersion.VERSION_1_8
}

repositories {
    mavenCentral()
}

springBoot {
    mainClass = "test.MyReader"
}

dependencies {
    compile(
            'org.springframework.boot:spring-boot-starter',
            'org.springframework.boot:spring-boot-starter-aop',
            'org.springframework.retry:spring-retry',
    )
}

<强> MyApplication.java

@EnableRetry
@SpringBootApplication
public class MyApplication implements CommandLineRunner {
    private final MyReader myReader;

    @Autowired
    public MyApplication(MyReader myReader) {
        this.myReader = myReader;
    }

    public static void main(String[] args) {
        SpringApplication.run(MyApplication.class, args);
    }

    @Override
    public void run(String... args) throws Exception {
        myReader.read();
    }
}

<强> MyReader.java

@Service
public class MyReader {
    private static final String PATH = "a2";
    private final Logger logger = LoggerFactory.getLogger(MyReader.class);

    public MyReader() {

    }

    @Retryable(value = IOException.class, maxAttempts = 5, backoff = @Backoff(delay = 5000))
    public void read() throws IOException {
        final Resource resource = new FileSystemResource(PATH);
        logger.info("\n\nRead attempt: {}\n", resource);
        try (BufferedReader reader = new BufferedReader(new InputStreamReader(resource.getInputStream(), StandardCharsets.UTF_8))) {
            final String content = reader.lines().collect(Collectors.joining(" "));
            logger.info("\n\nFile content: {}\n", content);
        }
    }
}

当你执行文件时,你会在日志中看到一个&#34;读取尝试&#34;消息和一个&#34;文件内容&#34;信息。我甚至在那里添加了空行,所以现在很难忽视。

当文件不存在时,您将看到五个&#34;读取尝试&#34;消息然后抛出异常。

我将重试时间更改为5秒。如果你足够快,你可以在没有文件的情况下启动,然后在那里制作一些文件,你会发现它有效。您应该看到几次读取尝试,最后是文件内容。

我已经看到你已经在这个问题上苦苦挣扎了好几天了。请不要产生不必要的问题,因为他们没有帮助社区。为了将来参考,请尝试坚持您的一个问题,并在需要时进行修改。

答案 1 :(得分:0)

从Spring Boot版本1.3.1.RELEASE迁移到1.4.0.RELEASE(及其相应的自动版本依赖项,例如spring-boot-starter-batch)解决了这个问题。重试在OP中实现的1.4.0.RELEASE中工作。在1.3.1.RELEASE中不起作用。这是现在使用的gradle文件:

buildscript {
    ext {
        // Previously using 1.3.1.RELEASE where retry functionality does not work
        springBootVersion = '1.4.0.RELEASE' 
    }
    repositories {
        mavenCentral()
        mavenLocal()
    }
    dependencies {
        classpath("org.springframework.boot:spring-boot-gradle-plugin:${springBootVersion}")
    }
}

apply plugin: 'java'
apply plugin: 'eclipse'
apply plugin: 'spring-boot'

configurations {
   provided
}

sourceSets {
    main {
        compileClasspath += configurations.provided
    }
}

jar {
    baseName = 'load'
    version = '1.0'
}
sourceCompatibility = 1.8
targetCompatibility = 1.8

repositories {
    mavenCentral()
    mavenLocal()
}

dependencies {
    compile('org.springframework.boot:spring-boot-starter-batch')
    compile('org.springframework.boot:spring-boot-configuration-processor')
    compile('org.springframework.boot:spring-boot-starter-data-jpa')
    compile('org.springframework.boot:spring-boot-starter-mail')
    compile('org.springframework.boot:spring-boot-starter-aop')
    compile('org.projectlombok:lombok:1.16.6')
    compile('org.hibernate:hibernate-validator:5.2.4.Final')
    compile('org.quartz-scheduler:quartz:2.2.3')
    runtime('javax.el:javax.el-api:2.2.4')
    runtime('org.glassfish.web:javax.el:2.2.4')
    runtime('net.sourceforge.jtds:jtds:1.3.1')
    testCompile('org.springframework.boot:spring-boot-starter-test')
    testCompile('org.springframework.batch:spring-batch-test')
}



eclipse {
    classpath {
         containers.remove('org.eclipse.jdt.launching.JRE_CONTAINER')
         containers 'org.eclipse.jdt.launching.JRE_CONTAINER/org.eclipse.jdt.internal.debug.ui.launcher.StandardVMType/JavaSE-1.8'
    }
}

task wrapper(type: Wrapper) {
    gradleVersion = '2.11'
} 

注意:使用JobExecutionDecider考虑​​使用FlatFileItemReader重试步骤。但是,ItemStreamException会导致整个作业和应用程序终止,而决策程序无法执行。