如何通过纱线集群从intelliJ运行spark作业

时间:2015-11-18 11:15:48

标签: hadoop apache-spark yarn

我正在运行简单的火花工作

val sc = new SparkConf().setAppName("test")
 // .set ??? what additional options?      
val inputFile = sc.sequenceFile[LongWritable,String](list_of_directories)
inputFile.count()

如果我将此代码打包到fat jar并将其复制到集群机器,我可以使用

运行它
 spark-submit --master yarn --num-executors 5 --class com.my.Main test-spark-jobs-0.0.1-SNAPSHOT-jar-with-dependencies.jar

我的问题是我应该设置哪些属性才能通过非群集机器的代码在群集上运行此作业?

我有cdh5与纱线和火花

0 个答案:

没有答案