这是一个非常蹩脚的问题,但我真的想知道此后的路径。
我正在学习火花,所以我已经安装了spark并在Eclipse中编写了我的第一个火花程序。要在eclipse中运行我的程序,Spark或spark服务应该正在运行。
我的问题是要理解,当我从eclipse运行我的java程序,然后在机器中它如何识别或如何到达后端的spark运行服务?我真的想知道它是如何从Eclipse开始的,最后连接Spark ......!
答案 0 :(得分:0)
构造SparkConf
对象时会提供此信息。
https://spark.apache.org/docs/latest/api/java/org/apache/spark/SparkConf.html#setMaster-java.lang.String-
SparkConf conf = new SparkConf().setMaster("local").setAppName("My Spark App");
它指的是群集URL或local
(主要用于开发)。