在本地模式下运行spark应用程序

Question

我正在尝试使用spark-submit以本地模式启动我的Spark应用程序。我正在使用Spark 2.0.2，Hadoop 2.6＆amp; Windows上的Scala 2.11.8。应用程序在我的IDE（IntelliJ）中运行良好，我也可以在具有实际物理执行程序的集群上启动它。

我正在运行的命令是

spark-submit --class [MyClassName] --master local[*] target/[MyApp]-jar-with-dependencies.jar [Params]

Spark像往常一样启动，但随后以

结束

java.io.Exception: Failed to connect to /192.168.88.1:56370

我在这里缺少什么？

Answer 1

检查您正在使用的端口：如果在群集上：登录到主节点并包括：

--master spark://XXXX:7077

您可以在端口8080下的spark ui中找到它

如果你已经设置了master，那么请检查你的spark builder配置，因为它在启动时具有优先级：

val spark = SparkSession
  .builder
  .appName("myapp")
  .master("local[*]")