Question

我在eclipse中有以下代码，我希望该程序连接到已经运行的spark-shell。

我使用./bin/spark-shell.cmd从命令启动了spark shell。

问题： -是否可以使用独立的Eclipse程序连接到从命令行提示符启动的spark集群？如果可以，请您指导我该怎么做？ -我想在不构建jar的情况下提交spark的任务，有没有一种方法可以每次都不显式构建jar的情况下直接提交spark的任务？（例如，运行下面提到的Eclipse程序本身有点？）谢谢

注意：SparkLauncher可以工作，但是需要指定jar来提交任务，如果您可以指出避免完全打包jar的过程，那将非常有帮助

object ScalaSparkStarter {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local[2]")
//    conf.setMaster("spark://localhost:7077")
    conf.set("deploy-mode", "client")
    conf.setAppName("local-1549350377151")
    val sc = new SparkContext(conf)
    // Load the text into a Spark RDD, which is a distributed representation of each line of text
    val textFile = sc.textFile("file:///C:/Work/test/R&D/cdd.txt")     
    //word count
    val counts = textFile.flatMap(line => line.split(" "))
      .map(word => (word, 0))
      .reduceByKey(_ + _)


    System.out.println("Total words: " + counts.count());
    counts.foreach(println)
    counts.saveAsTextFile("file:///C:/Work/R&D/Comparitive_Study1.txt")


  }
}

如何连接到Spark集群以使用Eclipse从独立程序执行任务？

0 个答案: