我正在运行简单的火花工作
val sc = new SparkConf().setAppName("test")
// .set ??? what additional options?
val inputFile = sc.sequenceFile[LongWritable,String](list_of_directories)
inputFile.count()
如果我将此代码打包到fat jar并将其复制到集群机器,我可以使用
运行它 spark-submit --master yarn --num-executors 5 --class com.my.Main test-spark-jobs-0.0.1-SNAPSHOT-jar-with-dependencies.jar
我的问题是我应该设置哪些属性才能通过非群集机器的代码在群集上运行此作业?
我有cdh5与纱线和火花