如何连接到Spark集群以使用Eclipse从独立程序执行任务?

时间:2019-02-06 05:36:50

标签: scala apache-spark

我在eclipse中有以下代码,我希望该程序连接到已经运行的spark-shell。

我使用./bin/spark-shell.cmd从命令启动了spark shell。

问题: -是否可以使用独立的Eclipse程序连接到从命令行提示符启动的spark集群?如果可以,请您指导我该怎么做? -我想在不构建jar的情况下提交spark的任务,有没有一种方法可以每次都不显式构建jar的情况下直接提交spark的任务? (例如,运行下面提到的Eclipse程序本身有点?)谢谢

注意:SparkLauncher可以工作,但是需要指定jar来提交任务,如果您可以指出避免完全打包jar的过程,那将非常有帮助

object ScalaSparkStarter {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local[2]")
//    conf.setMaster("spark://localhost:7077")
    conf.set("deploy-mode", "client")
    conf.setAppName("local-1549350377151")
    val sc = new SparkContext(conf)
    // Load the text into a Spark RDD, which is a distributed representation of each line of text
    val textFile = sc.textFile("file:///C:/Work/test/R&D/cdd.txt")     
    //word count
    val counts = textFile.flatMap(line => line.split(" "))
      .map(word => (word, 0))
      .reduceByKey(_ + _)


    System.out.println("Total words: " + counts.count());
    counts.foreach(println)
    counts.saveAsTextFile("file:///C:/Work/R&D/Comparitive_Study1.txt")


  }
}

0 个答案:

没有答案