Question

我正在尝试从Eclipse Rich Platform应用程序连接到本地计算机上的Spark Cluster，以创建Spark Streaming Context。从火花壳连接工作完美无缺，但是当我尝试从类中运行代码时，我正在研究这个结果：

 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://host:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

显然，主机与我在Spark Shell中使用的主机相同。

这是我尝试连接到Spark的代码块。

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

JavaSparkContext sc = new JavaSparkContext(conf);
JavaStreamingContext ssc = new JavaStreamingContext(sc,Durations.seconds(3));
ssc.awaitTermination();

重试几次然后终止。

Answer 1

可能存在版本问题，如果使用maven或者有1.4的jar文件，你的spark服务器可能是1.3而pom文件中依赖1.4，请交叉引用它和代码

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

火花：//主机：7077 这个主机应该是主机名

无法连接到Spark Master：原因是：[Disassociated]

1 个答案: