YARN上的Spring XD:ver 1.2.1对kafka源的直接绑定支持

时间:2015-11-26 16:40:41

标签: spring-xd

YARN上的Spring XD:版本1.2.1对kafka源的直接绑定支持。

1.我知道这还不支持(从1.3.0开始),任何明确的日期/版本都有助于我们的项目安排?

2.这种对kafka源支持的直接绑定对我们的项目非常关键。因为这个原因,我们完全放弃了我们项目中的Spring XD YARN。

尝试做

stream create --name directkafkatohdfs --definition" kafka | HDFS" stream deploy directkafkatohdfs --properties" module。*。count = 0"

点击例外"必须是正数。目前不支持0计数kafka来源"

我只想消除使用消息总线/传输(redis / kafka / rabbitMQ)并希望在同一个YARN容器中直接绑定源(kafka)和接收器(接收器)。

1.我知道现在还不支持(截至1.3.0版本),任何明确的日期/版本都有助于我们的项目进度。

2.这种对kafka源支持的直接绑定对我们的项目非常关键。因为这个原因,我们完全放弃了我们项目中的Spring XD YARN。

由于 Satish Srinivasan satsrinister@gmail.com

1 个答案:

答案 0 :(得分:0)

感谢您对Spring XD的兴趣:)。

对于Spring XD 1.x,我们建议使用组合而不是直接绑定Kafka总线 - 或者,在您的情况下,使用Kafka源。但是,除此之外,在Spring XD 1.x中,如果总线上没有至少一跳(无论使用何种类型的总线或模块),都无法创建整个流。

我们正在解决直接绑定(包括对整个直接绑定流的支持)作为Spring Cloud Data Flow(http://cloud.spring.io/spring-cloud-dataflow/)的一部分 - 这是Spring XD的下一个演变。我们打算将其作为特定配置选项支持,而不是作为零计数模块的副作用。从最终用户的角度来看,SCDF支持与Spring XD相同的DSL(具有微小变化)并具有相同的管理UI,并且肯定支持YARN,因此它应该是一个相当无缝的过渡。我建议开始看一下。即将推出的1.0.0.M2版本的Spring Cloud Data Flow尚不支持通过DSL直接绑定,但目的是在最终版本中支持它,目前计划在2016年第一季度推出。