我在纱线模式下有一个火花簇,还有一些批量和流媒体作业要运行。我发现spring xd可以处理批处理和流工作,并带有嵌入式火花 我的问题是,春天xd可以在纱线模式下使用外部火花簇吗?怎么做?非常感谢。
答案 0 :(得分:0)
您无法使用Spring XD以纱线模式启动Spark作业,只能使用主URL在本地或Spark群集上启动。使用Spring Cloud Data Flow,您可以启动spark-yarn任务,请参阅http://docs.spring.io/spring-cloud-task-app-starters/docs/1.0.1.RELEASE/reference/html/_spark_yarn_task.html