将intellij上的窗口连接到集群上的方法

Question

我们正试图通过windows上的scala代码连接到intellij集群上的spark。 试图改变spark-env.sh和这个

val conf = new SparkConf().setAppName("Ex").setMaster("spark://XXXX:7077")

但无法连接投掷错误：

Could not connect to XXXXX:7077: akka.remote.EndpointAssociationException:        
Association failed with [akka.tcp://sparkMaster@xxxxx:7077]
Failed to connect to master XXXXX:7077
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://sparkMaster@xxxxx:7077/), Path(/user/Master)]

有人可以告诉我如何连接它的方法。

由于

Answer 1

这似乎是您的Windows系统和Spark Cluster之间的连接问题

• 确保在Windows和Spark Cluster
之间设置密码减去SSH

如果您想在Windows系统上本地测试它而不是将其连接到Spark Cluster

，以防万一

您需要在Windows上安装spark并在代码中进行以下更改

val conf = new SparkConf().setAppName("Ex").setMaster("local[*]")

希望这有助于