纱线上的火花,一个节点上只有一个执行器工作,分配是随机的

时间:2017-08-02 04:11:04

标签: apache-spark yarn

我用这个命令运行spark-shell:

./bin/spark-shell --master yarn --num-executors 16       
--executor-memory 14G --executor-cores 8

我有四个节点,每个节点有16G内存和4个核心

在我更改了num-executors后,spark webUi告诉我它工作正常, enter image description here 但是节点上只有一个名为" slave"正在运行

我们可以看到TRANSFER1和TRANSFER2为空 enter image description here

我怎样才能解决这个问题,当我提交工作时情况没有改变 我应该更改工人实例或数字执行者等等

0 个答案:

没有答案