弹簧xd可以在纱线模式下使用外部火花簇吗?

时间:2017-02-03 09:16:04

标签: apache-spark spring-xd

我在纱线模式下有一个火花簇,还有一些批量和流媒体作业要运行。我发现spring xd可以处理批处理和流工作,并带有嵌入式火花 我的问题是,春天xd可以在纱线模式下使用外部火花簇吗?怎么做?非常感谢。

1 个答案:

答案 0 :(得分:0)

您无法使用Spring XD以纱线模式启动Spark作业,只能使用主URL在本地或Spark群集上启动。使用Spring Cloud Data Flow,您可以启动spark-yarn任务,请参阅http://docs.spring.io/spring-cloud-task-app-starters/docs/1.0.1.RELEASE/reference/html/_spark_yarn_task.html

相关问题