我们正在部署到群集游戏!运行需要SparkContext的作业的Framework(版本2.3)应用程序(例如:在Hbase或WordCount中搜索)。我们的集群是一个纱线集群。 要启动我们的应用程序,我们执行命令行:
activator run
(编制和包装后)
我们正在尝试SparkContext配置的一些问题,我们使用此配置:
new SparkConf(false)
.setMaster("yarn-cluster")
.setAppName("MyApp")
val sc = new SparkContext(sparkConf)
当我们使用SparkContext调用一个调用作业的路由时,我们以及此错误:
[RuntimeException: java.lang.ExceptionInInitializerError]
或者这个(当我们重新加载时):
[RuntimeException: java.lang.NoClassDefFoundError: Could not initialize class mypackage.MyClass$]
为了测试我们的代码,我们将参数setMaster更改为
.setMaster("local[4]")
它运作良好。但是我们的代码当然没有分发,我们也没有使用分发代码的Spark功能(例如:RDD)。
使用spark submit命令运行我们的应用程序是一个解决方案吗?如果是这样的话怎么办?
我们宁愿使用activator命令。