Question

通过对互联网的一些研究，我可以使用

sbin/start-master.sh

通过我的Ubuntu Linux计算机启动spark master服务器spark服务并使用

bin/spark-class org.apache.spark.deploy.worker.Worker spark://...

从属节点服务启动并运行。好消息是我可以看到本地网页上发现的作品。

然而，在此之后，我尝试启动shell工作......

MASTER=spark://localhost:7077 bin/spark-shell

但它返回了： sparkMaster @ localhost：7077 ......

因此我将代码修改为

MASTER=spark://sparkuser@localhost:7077 bin/spark-shell

其中sparkuser是连接到两个节点的那个然而，通过这样的修改，我得到了：

ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.

当我尝试

时

MASTER=local-cluster[3,2,1024] bin/spark-shell

它确实出现了外壳中的火花徽标，但我担心奴隶节点没有绑定。

我是否错过了Spark群集设置的任何内容？

Answer 1

只需使用--master标志在集群上启动spark-shell，如下所示

{
  "job": [
    "admin",
    "developer"
  ],
  "name": "dave"

}

Spark集群设置错误

1 个答案: