代码:https://github.com/giuliopulina/spring-integration-poller
尝试使用Spring集成创建jdbc轮询器时遇到问题。
当我用新数据提供表格时,处理速度比预期慢:一切正常,除了每隔60秒触发一次民意调查,我无法理解原因。
2015-05-27 10:50:40,234 DEBUG ExpressionEvaluatingSqlParameterSourceFactory - 已解决的表达式#root。![pk] to(pks列表)
2015-05-27 10:51:40,234 DEBUG ExpressionEvaluatingSqlParameterSourceFactory - 已解决的表达式#root。![pk] to(pks列表)
这是spring集成配置xml的相关部分:
<task:executor id="pollerPool" pool-size="5-20" queue-capacity="0" rejection-policy="CALLER_RUNS" keep-alive="5"/>
<!--<task:executor id="processingPool" pool-size="5-20" queue-capacity="0" rejection-policy="CALLER_RUNS" keep-alive="5"/> -->
<bean id="jdbcSource" class="org.springframework.integration.jdbc.JdbcPollingChannelAdapter">
<constructor-arg ref="dataSource"/>
<constructor-arg value="XXXXXXXXXXXXXX"/>
<property name="updateSql" value="XXXXXXXXXXXXXXXX"/>
<property name="maxRowsPerPoll" value="50"/>
</bean>
<int:inbound-channel-adapter send-timeout="10000" auto-startup="false" id="inboundAdapter" ref="jdbcSource" channel="jdbcOutputChannel">
<int:poller receive-timeout="3000" time-unit="MILLISECONDS" fixed-rate="0" error-channel="errorChannel" task-executor="pollerPool">
<int:advice-chain>
<ref bean="threadPrepareInterceptor"/>
<ref bean="txAdvice"/>
</int:advice-chain>
</int:poller>
</int:inbound-channel-adapter>
<int:service-activator id="serviceActivator" input-channel="jdbcOutputChannel" ref="someServiceActivatorBean"/>
<tx:advice id="txAdvice" transaction-manager="txManager">
<tx:attributes>
<tx:method name="get*" read-only="true"/>
<tx:method name="*"/>
</tx:attributes>
</tx:advice>
<int:channel id="jdbcOutputChannel" >
<!-- using direct channel -->
<!--<int:dispatcher task-executor="processingPool"/>-->
</int:channel>
你能帮我理解一下这个问题吗?
更新
关于&#34; jdbcOutputChannel&#34;关于交易的建议,我同意并且我根据你的提示修改了我的配置,因为它更干净(无论如何,服务激活器也在单独的事务中运行,即使xml样本中没有概述)。 / p>
关于我遇到的问题,我尝试删除所有其他spring集成组件,并且按照我的预期连续触发轮询器(我知道固定速率= 0太高了:)) 相反,当项目中的其他轮询器配置为这样时,我的轮询器似乎也继承了相同的超时:
<int:service-activator id="someOtherServiceActivator">
<int:poller fixed-rate="0" error-channel="someOtherPollerErrorChannel" receive-timeout="60000" />
</int:service-activator>
将其他轮询器的超时时间切换为10000毫秒,我的轮询器每10秒触发一次(而不是60秒)。 我不能分享完整的spring集成配置,但我想问一下:完全分离的poller可以修改彼此的行为吗?
更新2 : 我创建了一个试图重现问题的独立项目,但我仍然无法做到这一点。 所以,我尝试删除以下配置,它是为了仅在应用程序完全启动并运行时启动轮询器而引入的:
<int:publish-subscribe-channel id="startupChannel" />
<int:control-bus input-channel="controlBusChannel" />
<int-event:inbound-channel-adapter channel="startupChannel" event-types="org.springframework.context.event.ContextRefreshedEvent"/>
<int:transformer input-channel="startupChannel" expression="'@inboundAdapter.start()'" output-channel="controlBusChannel" />
<int:transformer input-channel="startupChannel" expression="'@someOtherServiceActivator.start()'" output-channel="controlBusChannel" />
问题已经消失,即使我能完全理解其中的原因。 无论如何,为我的轮询器创建一个不同的startupChannel可以很好地工作:
<int:publish-subscribe-channel id="globalStartupChannel" />
<int:publish-subscribe-channel id="myStartupChannel" />
<int:control-bus input-channel="controlBusChannel" />
<int-event:inbound-channel-adapter channel="globalStartupChannel" event-types="org.springframework.context.event.ContextRefreshedEvent"/>
<int-event:inbound-channel-adapter channel="myStartupChannel" event-types="org.springframework.context.event.ContextRefreshedEvent"/>
<int:transformer input-channel="globalStartupChannel" expression="'@someOtherServiceActivator.start()'" output-channel="controlBusChannel" />
<int:transformer input-channel="myStartupChannel" expression="'@inboundAdapter.start()'" output-channel="controlBusChannel" />
更新3:
在为您准备项目代码时,我注意到以下日志:
信息:没有名为“taskScheduler”的bean#39;已经明确定义。因此,将创建一个默认的ThreadPoolTaskScheduler。
所以,我添加了以下配置,现在一切正常:
<task:scheduler id="taskScheduler" pool-size="20" />
我猜默认的pool-size是10,因此在使用totalNumberOfPollers&gt;时会以某种方式覆盖配置。 taskScheduler.size()。 我是对的吗?
由于 Giulio的
答案 0 :(得分:1)
我无法重现你的情况;我建议你在民意调查之间进行一次线程转储,看看线程在做什么。
那就是说,0 jdbcOutputChannel
非常具有攻击性;你的DBA可能会毫无延迟地抛出适合的轮询。
此外,ExecutorChannel
,即<int:control-bus input-channel="input"/>
<int-event:inbound-channel-adapter channel="ps" event-types="org.springframework.context.event.ContextRefreshedEvent"/>
<int:publish-subscribe-channel id="ps" />
<int:transformer input-channel="ps" output-channel="input" expression="'@foo.start()'" />
<int:transformer input-channel="ps" output-channel="input" expression="'@sa.start()'" />
<int:inbound-channel-adapter id="foo" channel="bar" expression="'foo'" auto-startup="false">
<int:poller fixed-rate="1000" />
</int:inbound-channel-adapter>
<int:channel id="bar">
<int:queue />
</int:channel>
<int:service-activator id="sa" input-channel="bar" output-channel="baz" auto-startup="false"
expression="payload.toUpperCase()">
<int:poller fixed-rate="6000" receive-timeout="0" />
</int:service-activator>
<int:logging-channel-adapter id="baz" level="ERROR"/>
,表示在将消息发送到该频道后,事务将立即提交。如果您希望流在事务中运行,则不应在此处使用调度程序。
修改强>
我仍然无法用这个重现你的情况...
FOO
......正如预期的那样,我每6秒看到6 i-c-a
次(fixed-rate="0" receive-timeout="60000"
每秒轮询一次,sa每6秒运行一次。)
<强> EDIT2 强>:
我查看了你的项目,正如你所说,问题的根本原因是很多轮询端点,但实际上,就是这样:
QueueChannel
使用此配置,调度程序资源(线程)在DirectChannel
中被阻止,正如您所发现的那样,您已经耗尽了所有资源。
一种解决方案是增加调度程序池中的线程数。
通过这种配置,您似乎试图通过轮询器不断在队列中等待receive()方法来获得按需,零延迟消息传递。
如果您无法承受任何延迟,请考虑使用ExecutorChannel
。如果您不希望下游端点在调用者的线程上运行,请使用<task:executor id="exec" pool-size="100"/>
<int:channel id="otherMessageChannel1">
<int:dispatcher task-executor="exec" />
</int:channel>
s ...
{{1}}
这通常比您当前的设置更受欢迎。