Spark 1.4.2的错误

Question

8节点虚拟金属集群，有4个节点用于分析。 DSE版本4.8.6，Spark版本1.4.2。 ... Scala版本2.10.5（Java HotSpot（TM）64位服务器VM，Java 1.8.0_77）

在运行dse pyspark或dse spark：

时，反复出现这些错误

org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor

我认为只有在使用交互式shell时才会发生这种情况：作业似乎在提交时会返回结果：

$ dse spark-submit ./test.py
WARN  2016-05-05 19:21:51,614 org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
+---------+---------+-------+---------------+----------+
( results )

Answer 1

这显然是防火墙问题。

我很确定我在这里打开了所有端口：https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/sec/secConfFirePort.html ...

..当时，看起来正在尝试向随机端口进行通信。这对于发送请求的服务器来说不是问题，但对于接收请求的服务器来说这将是一个问题......

所以我关闭了防火墙，一切正常。