如何从不属于群集的计算机启动spark shell或提交spark作业？

Question

我有一个4个DSE 4.6节点的集群，其中Cassandra / Spark处于独立模式，提交作业以激活或打开其中一个集群节点的火花壳工作正常。 我现在要做的是能够从不属于集群的机器打开火花壳，所以我在新机器上安装了DSE，但是当我尝试运行时

$ SPARK_MASTER=spark://MASTER_NODE dse spark

我收到一堆连接错误，看起来火花外壳正试图连接到localhost。

Spark中存在一个固有的限制，它限制了运行shell或仅从作为集群成员的节点提交作业吗？

Answer 1

您使用的是哪个版本的Spark？

尝试将SPARK_MASTER更改为MASTER

我经常跑

MASTER=spark://servername:7077 ./bin/spark-shell

一切都很好。

Answer 2

好的，我发现了我的问题（实际上是两个）：

1. 我在“客户端”机器上安装了不同的JDK
2. 指定母版的正确方法是dse spark --master spark://MASTER_ADDRESS:7077

现在一切正常。