在集群

时间:2015-07-30 21:21:22

标签: deployment playframework apache-spark yarn typesafe-activator

我们正在部署到群集游戏!运行需要SparkContext的作业的Framework(版本2.3)应用程序(例如:在Hbase或WordCount中搜索)。我们的集群是一个纱线集群。 要启动我们的应用程序,我们执行命令行:

activator run 

(编制和包装后)

我们正在尝试SparkContext配置的一些问题,我们使用此配置:

new SparkConf(false)
     .setMaster("yarn-cluster")
     .setAppName("MyApp")
val sc = new SparkContext(sparkConf)

当我们使用SparkContext调用一个调用作业的路由时,我们以及此错误:

[RuntimeException: java.lang.ExceptionInInitializerError]

或者这个(当我们重新加载时):

[RuntimeException: java.lang.NoClassDefFoundError: Could not initialize class mypackage.MyClass$]

为了测试我们的代码,我们将参数setMaster更改为

.setMaster("local[4]")

它运作良好。但是我们的代码当然没有分发,我们也没有使用分发代码的Spark功能(例如:RDD)。

使用spark submit命令运行我们的应用程序是一个解决方案吗?如果是这样的话怎么办?

我们宁愿使用activator命令。

0 个答案:

没有答案