Question

相关步骤的工作配置如下：

Step，Spring Batch Job Repository和业务存储库（使用各种数据源）都使用JTA事务管理器。
步骤“myStep”使用Jdbc分页项目阅读器。
WebLogic，Oracle XE和/或EE

我想在“myStep”中分析Jdbc Cursor 项目阅读器的性能，但是在第一次提交后，第二个块的第一次读取将因 java.sql.SQLException而失败：结果集已关闭。

我怀疑JTA / XA驱动程序可能由于某种原因关闭了光标，因此我给了“myStep”一个简单的数据源事务管理器（在读者使用的数据源上），并且该步骤能够成功完成。这不是解决方案，因为这会破坏步骤的事务完整性。

我是否可以在JTA托管步骤中使用光标阅读器（使用下面描述的环境）？如果是这样，我的结尾可能配置不正确？

环境

交易经理：<bean id="myTransactionManager" class="org.springframework.transaction.jta.JtaTransactionManager"/>
数据源驱动程序：OracleXADataSource JDBC 6 11.1.0.7.0
WebLogic：12.1.3.0.0
Oracle DB 11g：Enterprise Edition 11.2.0.4.0
操作系统：OSX或Linux

配置

<bean id="myTransactionManager" class="org.springframework.transaction.jta.JtaTransactionManager"/>

<bean id="myDataSource" class="org.springframework.jndi.JndiObjectFactoryBean">
    <property name="jndiName" value="jdbc/myDataSource"/>
    <property name="proxyInterface" value="javax.sql.DataSource"/>
</bean>

<batch:step id="myStep" job-repository="myJobRepositoryFactory">
    <batch:tasklet transaction-manager="myTransactionManager">
        <batch:chunk
                reader="myReader"
                processor="myProcessor"
                writer="myWriter"
                commit-interval="100"
                processor-transactional="false"/>
        <batch:listeners>
            <batch:listener ref="myListener"/>
        </batch:listeners>
    </batch:tasklet>
</batch:step>

<bean id="myReader" class="org.springframework.batch.item.database.JdbcCursorItemReader" scope="step">
    <property name="dataSource" ref="myDataSource"/>
    <property name="sql" value="SELECT * FROM myHugeTable ORDER BY myColumn DESC"/>
    <property name="rowMapper">
        <bean class="myRowMapper"/>
    </property>
</bean>

陷入行为

下面是在下一个块读取之前关闭的结果集的调用堆栈。注意XA Connection关闭所有语句，这会导致JDBC关闭所有结果集。

java.lang.Thread.State: RUNNABLE
  at weblogic.jdbc.wrapper.ResultSet.internalClose(ResultSet.java:178)
  at weblogic.jdbc.wrapper.Statement.closeAllResultSets(Statement.java:286)
  at weblogic.jdbc.wrapper.Statement.internalClose(Statement.java:395)
  at weblogic.jdbc.wrapper.Statement.internalClose(Statement.java:367)
  at weblogic.jdbc.wrapper.XAConnection.closeAllStatements(XAConnection.java:393)
  at weblogic.jdbc.wrapper.XAConnection.cleanup(XAConnection.java:406)
  at weblogic.jdbc.wrapper.XAConnection.releaseToPool(XAConnection.java:432)
  at weblogic.jdbc.jta.DataSource.removeTxAssoc(DataSource.java:1907)
  at weblogic.jdbc.jta.DataSource.prepare(DataSource.java:1090)
  at weblogic.transaction.internal.XAServerResourceInfo.prepare(XAServerResourceInfo.java:1408)
  at weblogic.transaction.internal.XAServerResourceInfo.prepare(XAServerResourceInfo.java:522)
  at weblogic.transaction.internal.ServerSCInfo.startPrepare(ServerSCInfo.java:411)
  at weblogic.transaction.internal.ServerTransactionImpl.localPrepare(ServerTransactionImpl.java:2709)
  at weblogic.transaction.internal.ServerTransactionImpl.globalPrepare(ServerTransactionImpl.java:2340)
  at weblogic.transaction.internal.ServerTransactionImpl.internalCommit(ServerTransactionImpl.java:300)
  at weblogic.transaction.internal.ServerTransactionImpl.commit(ServerTransactionImpl.java:260)
  at org.glassfish.transaction.TransactionManagerImplCommon.commit(TransactionManagerImplCommon.java:571)
  at org.springframework.transaction.jta.JtaTransactionManager.doCommit(JtaTransactionManager.java:1021)
  at org.springframework.transaction.support.AbstractPlatformTransactionManager.processCommit(AbstractPlatformTransactionManager.java:761)
  at org.springframework.transaction.support.AbstractPlatformTransactionManager.commit(AbstractPlatformTransactionManager.java:730)
  at org.springframework.transaction.support.TransactionTemplate.execute(TransactionTemplate.java:150)
  at org.springframework.batch.core.step.tasklet.TaskletStep$2.doInChunkContext(TaskletStep.java:271)
  at org.springframework.batch.core.scope.context.StepContextRepeatCallback.doInIteration(StepContextRepeatCallback.java:77)
  at org.springframework.batch.repeat.support.RepeatTemplate.getNextResult(RepeatTemplate.java:368)
  at org.springframework.batch.repeat.support.RepeatTemplate.executeInternal(RepeatTemplate.java:215)
  at org.springframework.batch.repeat.support.RepeatTemplate.iterate(RepeatTemplate.java:144)
  at org.springframework.batch.core.step.tasklet.TaskletStep.doExecute(TaskletStep.java:257)
  at org.springframework.batch.core.step.AbstractStep.execute(AbstractStep.java:198)
  at org.springframework.batch.core.job.SimpleStepHandler.handleStep(SimpleStepHandler.java:148)
  at org.springframework.batch.core.job.flow.JobFlowExecutor.executeStep(JobFlowExecutor.java:64)
  at org.springframework.batch.core.job.flow.support.state.StepState.handle(StepState.java:67)
  at org.springframework.batch.core.job.flow.support.SimpleFlow.resume(SimpleFlow.java:165)
  at org.springframework.batch.core.job.flow.support.SimpleFlow.start(SimpleFlow.java:144)
  at org.springframework.batch.core.job.flow.FlowJob.doExecute(FlowJob.java:134)
  at org.springframework.batch.core.job.AbstractJob.execute(AbstractJob.java:304)
  at org.springframework.batch.core.launch.support.SimpleJobLauncher$1.run(SimpleJobLauncher.java:135)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
  at java.lang.Thread.run(Thread.java:745)

Answer 1

您应该能够在JTA托管步骤中使用光标阅读器。我们在我正在开展的项目中正是这样做的。我们使用Atomikos作为XA TM。

这是我们使用的XA / JTA配置。也许这对你有用：

@Bean(initMethod = "init", destroyMethod = "shutdownForce")
public UserTransactionService userTransactionService() {
    return new UserTransactionServiceImp(userTransactionServiceProperties());
}

@Bean(initMethod = "init", destroyMethod = "close")
@DependsOn("userTransactionService")
public UserTransactionManager atomikosTransactionManager() {
    UserTransactionManager userTransactionManager = new UserTransactionManager();
    userTransactionManager.setForceShutdown(true);
    userTransactionManager.setStartupTransactionService(false);
    return userTransactionManager;
}

@Bean
@DependsOn("userTransactionService")
public UserTransaction atomikosUserTransaction() throws SystemException {
    return new UserTransactionImp();
}

@Bean
@DependsOn("userTransactionService")
public JtaTransactionManager transactionManager() throws SystemException {
    JtaTransactionManager jtaTransactionManager = new JtaTransactionManager();
    jtaTransactionManager.setTransactionManager(atomikosTransactionManager());
    jtaTransactionManager.setUserTransaction(atomikosUserTransaction());
    jtaTransactionManager.setAllowCustomIsolationLevels(true);
    return jtaTransactionManager;
}

我们所有的数据源都被实例化为org.springframework.boot.jta.atomikos.AtomikosDataSourceBean。例如，Ora-datasource实例化如下：

    AtomikosDataSourceBean oraXaDs = new AtomikosDataSourceBean();
    oraXaDs.setXaDataSourceClassName(oraDsProp.getDatasourceClass());
    oraXaDs.setUniqueResourceName(oraDsProp.getInstancename());
    oraXaDs.setMinPoolSize(oraDsProp.getPoolMinSize());
    oraXaDs.setMaxPoolSize(oraDsProp.getPoolMaxSize());
    oraXaDs.setTestQuery(oraDsProp.getValidConnectionSQL());

    Properties oraXaDsProps = oraXaDs.getXaProperties();
    oraXaDsProps.setProperty("user", oraDsProp.getUser());
    oraXaDsProps.setProperty("password", oraDsProp.getPassword());
    oraXaDsProps.setProperty("URL", oraDsProp.getUrl());

Answer 2

我在这个问题上的两分钱：

首先是一些见解：

从数据库游标读取意味着打开连接，针对它触发一个SQL语句并在整个批处理作业期间不断读取行。这是有道理的，因为通常输入的作业数据可以用一个SQL语句来表征，但是执行它并从前面读取ResultSet中的所有数据当然不是解决方案。我们在这里只有一个问题就是不断阅读：提交事务会关闭连接。 那么我们如何保持开放？简单的解决方案：它不参与事务。 Spring Batch的JdbcCursorItemReader使用单独的连接来打开游标，从而绕过事务管理器管理的事务。在应用程序服务器环境中，我们必须做更多工作才能使其工作。通常，我们从应用程序服务器管理的DataSource获取连接，并且所有这些连接都默认参与事务。我们需要设置一个单独的DataSource，它不参与事务，只将它注入我们基于游标的读者。在其他地方注入它们可能会对交易安全造成很大的破坏。

你的问题基本上就在你的步骤中:(无论我能在不查看你的数据源xml文件的情况下得出结论:)）

Step，Spring Batch Job Repository和业务存储库（使用各种数据源）都使用JTA事务管理器。

JTA事务管理器spring提供应该以weblogic处理您的JTA事务的方式使用。您需要的只是配置数据源（也应该在容器下）以使用XA感知驱动程序，并在您的应用程序，使用相应的事务管理器，并通过JNDI

查找XA感知数据源

但是，如果您不能依赖容器（例如，您正在编写独立应用程序等），则需要找到能够执行此操作的事务管理器。 Atomikos是最着名的免费JTA / XA库之一。

话虽如此，在使用JNDI方式或Atomikos方式配置之后，以下是使用多个数据源时应该记住的配置：

<batch:tasklet>
  <batch:transaction-attributes isolation="READ_COMMITTED" propagation="REQUIRES_NEW" timeout="200"/>
  <batch:chunk reader="myItemReader" writer="myItemWriter" commit-interval="20"/>
</batch:tasklet>

希望这能在这个问题上清除一些空气。

Spring批处理读取器的游标在JTA事务管理步骤

2 个答案: