为什么Spark2只在一个节点上运行？

Question

我从Zeppelin运行Spark2（HDP 2.6中的0.7）并且我正在做一个idf转换，在几个小时后崩溃。它在具有主节点和3个数据节点的集群上运行：s1，s2和s3。所有节点都有一个Spark2客户端，每个节点有8个核心和16GB RAM。

我刚注意到它只在一个节点上运行，s3，有5个执行器。

在zeppelin-env.sh中，我将zeppelin.executor.instances设置为32，将zeppelin.executor.mem设置为12g，它有以下行：

export MASTER=yarn-client

我已将yarn.resourcemanager.scheduler.class设为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

我还在Spark2解释器中将spark.executor.instances设置为32。

任何人都有任何想法我可以尝试让其他节点分享它们吗？

Answer 1

答案是因为我是个白痴。只有S3安装了datanode和nodemanager。希望这可能有助于某人。