YARN上的Spark-无需每次处理所有jar即可提交Spark

时间:2019-04-04 21:49:38

标签: apache-spark yarn spark-submit

我在Hadoop / YARN和Spark的基础上得到了一个由5台计算机组成的小型集群。 我的愿望是在一个循环中执行一个小的Java程序,以演示分布式计算的功能。 我的问题是:每次我用 spark-submit(..)--master yarn(..)启动程序时,用于火花的罐子将部署在HDFS上并初始化工作程序。因此,循环总是受到初始化的干扰。 我希望它们可以一次启动,并为下一份工作做好准备-就像服务一样。

我已经看到使用火花壳时启用了此模式。但是,如何在没有任何Scala / R / Python-shell的情况下启动此模式?

最好的问候 亨德里克

0 个答案:

没有答案