我在eclipse中有以下代码,我希望该程序连接到已经运行的spark-shell。
我使用./bin/spark-shell.cmd从命令启动了spark shell。
问题: -是否可以使用独立的Eclipse程序连接到从命令行提示符启动的spark集群?如果可以,请您指导我该怎么做? -我想在不构建jar的情况下提交spark的任务,有没有一种方法可以每次都不显式构建jar的情况下直接提交spark的任务? (例如,运行下面提到的Eclipse程序本身有点?)谢谢
注意:SparkLauncher可以工作,但是需要指定jar来提交任务,如果您可以指出避免完全打包jar的过程,那将非常有帮助
object ScalaSparkStarter {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
conf.setMaster("local[2]")
// conf.setMaster("spark://localhost:7077")
conf.set("deploy-mode", "client")
conf.setAppName("local-1549350377151")
val sc = new SparkContext(conf)
// Load the text into a Spark RDD, which is a distributed representation of each line of text
val textFile = sc.textFile("file:///C:/Work/test/R&D/cdd.txt")
//word count
val counts = textFile.flatMap(line => line.split(" "))
.map(word => (word, 0))
.reduceByKey(_ + _)
System.out.println("Total words: " + counts.count());
counts.foreach(println)
counts.saveAsTextFile("file:///C:/Work/R&D/Comparitive_Study1.txt")
}
}