Spark作业服务器在哪里寻找Spark?

时间:2016-09-19 10:26:53

标签: apache-spark spark-jobserver

我从github克隆了spark job服务器并运行了sbt和sbt job-server-tests / package并重新启动。我运行了WordCountExample。我的问题是: 1.作业服务器在哪里寻找基础Spark jar来运行作业?或者它有自己的版本。 2.我在我的机器上运行Spark 2.0,我也运行了作业服务器.github文档说支持的Spark版本是1.6.2。任何想法,如果我可以使用2.0(当然我自己的风险)。有人试过吗?

1 个答案:

答案 0 :(得分:0)

  1. Spark是spark-jobserver的依赖项。因此,如果您使用job-server / reStart,它将使用依赖库来运行spark。
  2. 截至目前,spark-jobserver支持Spark 1.6.2。我们还没有开始研究2.0.0
  3. 某人有2.0更改分支,请参阅此处https://github.com/spark-jobserver/spark-jobserver/issues/570