队 目前我正在使用spring-xd并将其用作数据分析和纱线作业的运行时容器。
我的问题是
1)我可以利用我用于spring-xd的相同环境设置吗?
2)从文档中,我读到它可以部署为微服务,是否使用嵌入式驱动程序进行流处理?如果它使用嵌入式驱动程序,我是否可以使用它在具有相同的spring-xd基础架构的集群环境中进行部署?
3)是否为Apache Spark构建了特定的包装器?
我的环境:Spark 1.6.1,Hadoop 2.7.2,zookeeper 3.6.8,redis 3.2,spring-xd-1.3.1
对此特定查询的任何帮助都将受到高度赞赏。
答案 0 :(得分:4)
我可以使用与spring-xd相同的环境设置吗?
Spring Cloud Data Flow(SCDF)依赖于spring-cloud-deployer SPI,还有Cloud Foundry,Apache YARN,Apache Mesos和Kubernetes的实现。鉴于您已经使用了正在使用YARN的Hadoop集群,您可以配置SCDF服务器的YARN implementation。
是否使用嵌入式驱动程序进行流处理?
不清楚你的意思。如果您指的是jdbc-drivers;特别是,当使用jdbc
作为接收器应用程序时,我们会嵌入OSS友好的驱动程序,是的。
如果它使用的是嵌入式驱动程序,我是否可以使用它在具有与spring-xd相同的基础架构的集群环境中进行部署?
也许#1的答案涵盖了这一点。您可以使用相同的基础架构并使用Ambari plugin配置YARN SCDF服务器。
是否为Apache Spark构建了特定的包装器?