具有自定义委托的MultiResourceItemReader会继续读取同一文件

时间:2013-07-03 12:51:55

标签: java spring-batch

你好,有java向导,

我在进入春季批次时遇到了很多麻烦。直截了当。 我需要处理文件夹中的所有文件(xmls)并将它们写回来,只需添加一些小文件。 问题是我想保留输入文件名。我有这个解决方案 是一个MultiResourceItemReader,它委托给一个自定义Itemreader,后者又调用StaxEventItemReader并返回一个包含编组的xml和文件名的自定义项。

问题:在无限循环中只读取同一个文件而另一个奇怪的事情,每次都有10次重试。 我知道一个解决方案是读取器在文件被读取后返回null,但这意味着我需要保留一个已处理文件的列表?
我想我现在会这样做,但我真的想要更聪明的东西。

作业配置:

<batch:job id="job1">
    <batch:step id="step1"  >           
        <batch:tasklet transaction-manager="transactionManager" start-limit="100" >
            <batch:chunk reader="reader" writer="writer" commit-interval="10" />
        </batch:tasklet>
     </batch:step>
</batch:job> 

<bean id="reader" class="org.springframework.batch.item.file.MultiResourceItemReader">
<property name="resources" value="files/*.xml" />
<property name="delegate" ref="myItemReader" />
</bean>

我的项目阅读方法,基本上是:

public class MyItemReader implements ResourceAwareItemReaderItemStream<MyItem>, ApplicationContextAware {


public MyItem read() throws Exception, UnexpectedInputException,
        ParseException, NonTransientResourceException {

    StaxEventItemReader<JAXBElement<RootObject>> reader = new StaxEventItemReader<JAXBElement<RootObject>>();
    reader.setResource(currentResource);
    reader.setFragmentRootElementName("RootObject");

    // ... create jaxb unmarshaller

    reader.setUnmarshaller(unmarshaller);

    reader.setSaveState(true);
    reader.afterPropertiesSet();        

    reader.open(executionContext);

    JAXBElement<RootObject> jaxbElem = reader.read();

    MyItem item = new MyItem();

    item.setFilename(currentResource.getFile().getName());
    item.setJaxbElement(jaxbElem);

    return item;
}
}

有人能把我拉直吗?

解决方案 所以最后我只保留一个读取文件列表,如果已经读取则返回null。 至于10次读取,那么,这是块的大小所以它是有道理的。

2 个答案:

答案 0 :(得分:0)

我认为您不想在自定义阅读器中创建新的阅读器。我不知道它是否会导致你的问题,但这似乎不对(你读完后就没有关闭它)。

您可以使用Spring初始化JAXB Context,然后将其注入自定义阅读器:

http://static.springsource.org/spring-ws/site/reference/html/oxm.html

示例:

<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:oxm="http://www.springframework.org/schema/oxm"
    xsi:schemaLocation="http://www.springframework.org/schema/oxm http://www.springframework.org/schema/oxm/spring-oxm.xsd
        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">

    <bean id="myItemReader" class="com.example.MyItemReader">
        <property name="unmarshaller" ref="jaxbMarshaller"/>
    </bean>

    <oxm:jaxb2-marshaller id="jaxbMarshaller">
        <oxm:class-to-be-bound
            name="com.example.RootObject" />
    </oxm:jaxb2-marshaller>
</beans>

然后在读者的read()方法中,只需使用unmarshaller ......

public MyItem read() throws Exception, UnexpectedInputException,
        ParseException, NonTransientResourceException {

    Source source = new StreamSource(resource);
    JAXBElement<RootObject> jaxbElem = unmarshaller.unmarshal(source);

    MyItem item = new MyItem();

    item.setFilename(resource.getFile().getName());
    item.setJaxbElement(jaxbElem);

    return item;
}

修改

好的,我认为问题在于read()方法。根据{{​​3}}的Javadoc,当阅读器中的所有项目都用尽时,read()方法应该返回null ...我不认为你这样做是因为它无限期地阅读。 / p>

我认为找到一种方法来扩展FlatFileItemReaderStaxEventItemReader是一种更好的方法......这样的事情会不会起作用?

<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:batch="http://www.springframework.org/schema/batch"
    xmlns:oxm="http://www.springframework.org/schema/oxm"
    xsi:schemaLocation="http://www.springframework.org/schema/oxm http://www.springframework.org/schema/oxm/spring-oxm.xsd
        http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd
        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">

    <batch:job id="job1">
        <batch:step id="step1"  >           
            <batch:tasklet transaction-manager="transactionManager" start-limit="100" >
                <batch:chunk reader="reader" writer="writer" commit-interval="10" />
            </batch:tasklet>
         </batch:step>
    </batch:job> 

    <bean id="reader" class="org.springframework.batch.item.file.MultiResourceItemReader">
        <property name="resources" value="files/*.xml" />
        <property name="delegate" ref="myItemReader" />
    </bean>

    <bean id="myItemReader" class="com.example.MyItemReader">
        <property name="unmarshaller" ref="jaxbMarshaller"/>
        <property name="fragmentRootElementName" ref="RootObject"/>
    </bean>

    <oxm:jaxb2-marshaller id="jaxbMarshaller">
        <oxm:class-to-be-bound
            name="com.example.RootObject" />
    </oxm:jaxb2-marshaller>
</beans>

阅读器:

public class MyItemReader<T> extends StaxEventItemReader<T>{

    private Resource resource;

    @Override
    public void setResource(Resource resource) {
        this.resource = resource;
    }

    @Override
    protected T doRead() throws Exception {
        T jaxbElem = (T) super.doRead();

        MyItem item = new MyItem();

        item.setFilename(resource.getFile().getName());
        item.setJaxbElement(jaxbElem);

        return (T) item;
    }

}

答案 1 :(得分:0)

当你完全阅读文件时,必须让春天知道。 为此,您需要返回null。

保留一个布尔标志,指示文件是否已经处理过。 如果处理则返回null。并再次将标志设置为false。

  

boolean isRead=false;

MyItem read(){
 if(isRead){
  isRead=false;
  return null;
 }
 MyItem item=null;
 if(!isRead){
   isRead=true;
   //DO read.
    item=new Item();// Item to read....
  }
return item;
}