Spring云数据流 - 微服务部署

时间:2016-06-01 15:22:39

标签: spring-boot spring-xd spring-cloud-stream spring-cloud-config spring-cloud-dataflow

队 目前我正在使用spring-xd并将其用作数据分析和纱线作业的运行时容器。

我的问题是

1)我可以利用我用于spring-xd的相同环境设置吗?
2)从文档中,我读到它可以部署为微服务,是否使用嵌入式驱动程序进行流处理?如果它使用嵌入式驱动程序,我是否可以使用它在具有相同的spring-xd基础架构的集群环境中进行部署? 3)是否为Apache Spark构建了特定的包装器?

我的环境:Spark 1.6.1,Hadoop 2.7.2,zookeeper 3.6.8,redis 3.2,spring-xd-1.3.1

对此特定查询的任何帮助都将受到高度赞赏。

1 个答案:

答案 0 :(得分:4)

  

我可以使用与spring-xd相同的环境设置吗?

Spring Cloud Data Flow(SCDF)依赖于spring-cloud-deployer SPI,还有Cloud Foundry,Apache YARN,Apache Mesos和Kubernetes的实现。鉴于您已经使用了正在使用YARN的Hadoop集群,您可以配置SCDF服务器的YARN implementation

  

是否使用嵌入式驱动程序进行流处理?

不清楚你的意思。如果您指的是jdbc-drivers;特别是,当使用jdbc作为接收器应用程序时,我们会嵌入OSS友好的驱动程序,是的。

  

如果它使用的是嵌入式驱动程序,我是否可以使用它在具有与spring-xd相同的基础架构的集群环境中进行部署?

也许#1的答案涵盖了这一点。您可以使用相同的基础架构并使用Ambari plugin配置YARN SCDF服务器。

  

是否为Apache Spark构建了特定的包装器?

我们将Spark作为clientcluster个应用程序。您可以在SCDF中register来构建任务/批处理管道。