Question

我正在尝试从CSV文件中读取行并持久存储到数据库中。我正在使用MultiResourceItemReader委托FlatFileItemReader和JdbcBatchItemWriter进行读取/持久操作。我配置了commit-interval 50（例如）并跳过策略。我正在使用 spring-batch-3.0.8 ， oracle数据库。

简单易懂，在CSV文件中，我有2行，commit-interval是2。

此处，ROLLNO-201是DB中已存在的记录。

观察：

1.如果第1行与DB中存在的记录重复，则第2行是新记录。我看到新记录被插入到DB中，跳过第一行，因为它是重复的。[正常工作正常]。

ROLLNO  NAME    CLASS   CITY

201    JOHN     4       MADISON

202    STEPHEN  5       MADISON

2.如果第1行是新记录，则第2行是DB中存在的记录的副本。我看到新记录没有插入DB。[问题]。

ROLLNO  NAME    CLASS   CITY

202    STEPHEN  5       MADISON

201    JOHN     4       MADISON

我看到事务回滚基于commit-interval的记录，而不是基于chunkSize。如果commit-interval为10，那么第10条记录不应该是要提交的事务的重复。

任何人都可以帮助我，因为我在这里一无所知吗？

<bean id="jobRepository"    class="org.springframework.batch.core.repository.support.JobRepositoryFactoryBean">
    <property name="transactionManager" ref="transactionManager" />
    <property name="dataSource" ref="cisDataSource" />
    <property name="lobHandler" ref="lobHandler" />
    <property name="isolationLevelForCreate" value="ISOLATION_READ_COMMITTED" />
</bean>

<bean id="transactionManager"
    class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
    <property name="dataSource" ref="cisDataSource" />
</bean>

<bean id="cisDataSource" class="org.apache.commons.dbcp.BasicDataSource">
    <property name="initialSize" value="1" />
    <property name="maxActive" value="${db.connection.pool.size}" />
    <property name="driverClassName" value="oracle.jdbc.driver.OracleDriver" />
    <property name="url" value="${cisdb.connection.string}" />
    <property name="username" value="${cisdb.username}" />
    <property name="password" value="${cisdb.password}" />
</bean>

<batch:job id="mdtJob1">
<batch:step id="mdtJob1Step1">
    <batch:tasklet ref="fileTransferToProcessingFolderTasklet" />
    <batch:next on="COMPLETED" to="mdtJob1Step2" />
</batch:step>
<batch:step id="mdtJob1Step2">
    <batch:tasklet>
        <batch:chunk reader="multiResourceReader" writer="naxAddressSqlItemWriter"
            commit-interval="5">
            <batch:skip-policy>
                <bean class="org.springframework.batch.core.step.skip.AlwaysSkipItemSkipPolicy" scope="step"/>
            </batch:skip-policy>
            <batch:retry-policy>
                <bean class="org.springframework.retry.policy.NeverRetryPolicy" scope="step"/>
            </batch:retry-policy>
        </batch:chunk>
        <batch:no-rollback-exception-classes>
            <batch:include class="java.sql.SQLException"/>
            <batch:include class="org.springframework.dao.DuplicateKeyException"/>
            <batch:include class="java.sql.SQLIntegrityConstraintViolationException"/>
        </batch:no-rollback-exception-classes>
    </batch:tasklet>
    <batch:next on="COMPLETED" to="mdtJob1Step3" />
</batch:step>
<batch:step id="mdtJob1Step3">
    <batch:tasklet ref="fileTransferToArchiveFolderTasklet" />
</batch:step>
</batch:job>

<bean id="multiResourceReader"
    class="org.springframework.batch.item.file.MultiResourceItemReader"
    scope="step">
    <property name="delegate" ref="flatFileItemReader" />
    <property name="resources" value="${batch.processing.files}" />
</bean>

<bean id="flatFileItemReader" class="org.springframework.batch.item.file.FlatFileItemReader">
    <property name="lineMapper">
<bean class="org.springframework.batch.item.file.mapping.DefaultLineMapper">
            <property name="lineTokenizer">
<bean
                    class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">
                    <property name="names"
                        value="${csv.fields.in.order}" />
                </bean>
            </property>
            <property name="fieldSetMapper">
<bean               class="org.springframework.batch.item.file.mapping.BeanWrapperFieldSetMapper">
                    <property name="prototypeBeanName" value="addressDto" />
                </bean>
            </property>
        </bean>
    </property>
</bean>

<bean id="naxAddressSqlItemWriter"
    class="org.springframework.batch.item.database.JdbcBatchItemWriter">
    <property name="dataSource" ref="cdmDataSource" />
    <property name="sql" value="${nax.address.insertion.query}" />
    <property name="itemSqlParameterSourceProvider">
<bean class="org.springframework.batch.item.database.BeanPropertyItemSqlParameterSourceProvider" />
    </property>
</bean>

Answer 1

我希望您现在能找到解决方案。以防万一您

此解决方案对我有用。

如果尝试使commit-interval = 1，这将确保立即插入一行，并且重复的行不会在DB中有新条目。

例如： 块（1）

数据库中重复记录的Spring批量提交间隔回滚问题

1 个答案: