Spring集成轮询器以错误的时间间隔触发

时间:2015-05-27 08:54:43

标签: spring jdbc spring-integration poller

代码:https://github.com/giuliopulina/spring-integration-poller

尝试使用Spring集成创建jdbc轮询器时遇到问题。

当我用新数据提供表格时,处理速度比预期慢:一切正常,除了每隔60秒触发一次民意调查,我无法理解原因。

2015-05-27 10:50:40,234 DEBUG ExpressionEvaluatingSqlParameterSourceFactory - 已解决的表达式#root。![pk] to(pks列表)

2015-05-27 10:51:40,234 DEBUG ExpressionEvaluatingSqlParameterSourceFactory - 已解决的表达式#root。![pk] to(pks列表)

这是spring集成配置xml的相关部分:

<task:executor id="pollerPool" pool-size="5-20" queue-capacity="0" rejection-policy="CALLER_RUNS" keep-alive="5"/>

<!--<task:executor id="processingPool" pool-size="5-20" queue-capacity="0" rejection-policy="CALLER_RUNS" keep-alive="5"/> -->

<bean id="jdbcSource" class="org.springframework.integration.jdbc.JdbcPollingChannelAdapter">
    <constructor-arg ref="dataSource"/>
    <constructor-arg value="XXXXXXXXXXXXXX"/>
    <property name="updateSql" value="XXXXXXXXXXXXXXXX"/>
    <property name="maxRowsPerPoll" value="50"/>
</bean>

<int:inbound-channel-adapter send-timeout="10000" auto-startup="false" id="inboundAdapter" ref="jdbcSource" channel="jdbcOutputChannel">
    <int:poller receive-timeout="3000" time-unit="MILLISECONDS" fixed-rate="0" error-channel="errorChannel" task-executor="pollerPool">
        <int:advice-chain>
            <ref bean="threadPrepareInterceptor"/>
            <ref bean="txAdvice"/>
        </int:advice-chain>
    </int:poller>
</int:inbound-channel-adapter>

<int:service-activator id="serviceActivator" input-channel="jdbcOutputChannel" ref="someServiceActivatorBean"/>

<tx:advice id="txAdvice" transaction-manager="txManager">
    <tx:attributes>
        <tx:method name="get*" read-only="true"/>
        <tx:method name="*"/>
    </tx:attributes>
</tx:advice>

<int:channel id="jdbcOutputChannel"  >
    <!-- using direct channel -->
    <!--<int:dispatcher task-executor="processingPool"/>-->
</int:channel>

你能帮我理解一下这个问题吗?

更新

关于&#34; jdbcOutputChannel&#34;关于交易的建议,我同意并且我根据你的提示修改了我的配置,因为它更干净(无论如何,服务激活器也在单独的事务中运行,即使xml样本中没有概述)。 / p>

关于我遇到的问题,我尝试删除所有其他spring集成组件,并且按照我的预期连续触发轮询器(我知道固定速率= 0太高了:)) 相反,当项目中的其他轮询器配置为这样时,我的轮询器似乎也继承了相同的超时:

<int:service-activator id="someOtherServiceActivator">
    <int:poller fixed-rate="0" error-channel="someOtherPollerErrorChannel" receive-timeout="60000" />
</int:service-activator>

将其他轮询器的超时时间切换为10000毫秒,我的轮询器每10秒触发一次(而不是60秒)。 我不能分享完整的spring集成配置,但我想问一下:完全分离的poller可以修改彼此的行为吗?

更新2 : 我创建了一个试图重现问题的独立项目,但我仍然无法做到这一点。 所以,我尝试删除以下配置,它是为了仅在应用程序完全启动并运行时启动轮询器而引入的:

<int:publish-subscribe-channel id="startupChannel" />
<int:control-bus input-channel="controlBusChannel" />

<int-event:inbound-channel-adapter channel="startupChannel" event-types="org.springframework.context.event.ContextRefreshedEvent"/>

<int:transformer input-channel="startupChannel" expression="'@inboundAdapter.start()'" output-channel="controlBusChannel" />
<int:transformer input-channel="startupChannel" expression="'@someOtherServiceActivator.start()'" output-channel="controlBusChannel" /> 

问题已经消失,即使我能完全理解其中的原因。 无论如何,为我的轮询器创建一个不同的startupChannel可以很好地工作:

<int:publish-subscribe-channel id="globalStartupChannel" />
<int:publish-subscribe-channel id="myStartupChannel" />
<int:control-bus input-channel="controlBusChannel" />

<int-event:inbound-channel-adapter channel="globalStartupChannel" event-types="org.springframework.context.event.ContextRefreshedEvent"/>
<int-event:inbound-channel-adapter channel="myStartupChannel" event-types="org.springframework.context.event.ContextRefreshedEvent"/>

<int:transformer input-channel="globalStartupChannel" expression="'@someOtherServiceActivator.start()'" output-channel="controlBusChannel" />
<int:transformer input-channel="myStartupChannel" expression="'@inboundAdapter.start()'" output-channel="controlBusChannel" />

更新3:

在为您准备项目代码时,我注意到以下日志:

信息:没有名为“taskScheduler”的bean#39;已经明确定义。因此,将创建一个默认的ThreadPoolTask​​Scheduler。

所以,我添加了以下配置,现在一切正常:

<task:scheduler id="taskScheduler" pool-size="20" />

我猜默认的pool-size是10,因此在使用totalNumberOfPollers&gt;时会以某种方式覆盖配置。 taskScheduler.size()。 我是对的吗?

由于 Giulio的

1 个答案:

答案 0 :(得分:1)

我无法重现你的情况;我建议你在民意调查之间进行一次线程转储,看看线程在做什么。

那就是说,0 jdbcOutputChannel非常具有攻击性;你的DBA可能会毫无延迟地抛出适合的轮询。

此外,ExecutorChannel,即<int:control-bus input-channel="input"/> <int-event:inbound-channel-adapter channel="ps" event-types="org.springframework.context.event.ContextRefreshedEvent"/> <int:publish-subscribe-channel id="ps" /> <int:transformer input-channel="ps" output-channel="input" expression="'@foo.start()'" /> <int:transformer input-channel="ps" output-channel="input" expression="'@sa.start()'" /> <int:inbound-channel-adapter id="foo" channel="bar" expression="'foo'" auto-startup="false"> <int:poller fixed-rate="1000" /> </int:inbound-channel-adapter> <int:channel id="bar"> <int:queue /> </int:channel> <int:service-activator id="sa" input-channel="bar" output-channel="baz" auto-startup="false" expression="payload.toUpperCase()"> <int:poller fixed-rate="6000" receive-timeout="0" /> </int:service-activator> <int:logging-channel-adapter id="baz" level="ERROR"/> ,表示在将消息发送到该频道后,事务将立即提交。如果您希望流在事务中运行,则不应在此处使用调度程序。

修改

我仍然无法用这个重现你的情况...

FOO

......正如预期的那样,我每6秒看到6 i-c-a次(fixed-rate="0" receive-timeout="60000" 每秒轮询一次,sa每6秒运行一次。)

<强> EDIT2

我查看了你的项目,正如你所说,问题的根本原因是很多轮询端点,但实际上,就是这样:

QueueChannel

使用此配置,调度程序资源(线程)在DirectChannel中被阻止,正如您所发现的那样,您已经耗尽了所有资源。

一种解决方案是增加调度程序池中的线程数。

通过这种配置,您似乎试图通过轮询器不断在队列中等待receive()方法来获得按需,零延迟消息传递。

如果您无法承受任何延迟,请考虑使用ExecutorChannel。如果您不希望下游端点在调用者的线程上运行,请使用<task:executor id="exec" pool-size="100"/> <int:channel id="otherMessageChannel1"> <int:dispatcher task-executor="exec" /> </int:channel> s ...

{{1}}

这通常比您当前的设置更受欢迎。