执行程序在Spark主机上的作用

时间:2015-05-11 04:52:21

标签: apache-spark apache-spark-standalone

在Spark独立集群中,主节点是否也运行任务?我不确定Executors进程是否在主节点上运行并且与Worker节点一起工作。

谢谢!

1 个答案:

答案 0 :(得分:3)

执行程序只能在该节点上至少有一个工作守护程序的节点上启动,即,不会在不作为工作程序的节点中启动执行程序。

但是,从哪里开始Master和Workers都是基于您的决定,没有Master和Worker无法在同一节点上共同定位的限制。

要启动与主服务器相同的计算机的工作守护程序,您可以编辑conf/slaves文件以在其中添加主IP并在启动时使用start-all.sh或随时启动工作程序您希望在主节点start-slave.sh上提供Spark主网址--master spark://master-host:7077

更新(基于Daniel Darabos的建议)

在引用Application Detail UI的{​​{1}}标签时,您还可以找到Executors的行<driver>,其所代表的驱动程序是在您的工作安排和监控的地方,它运行您提交给火花集群的Executor ID程序,将您对RDD的转换和操作分成几个阶段,将阶段安排为任务集并安排main运行任务。

executors将在您<driver>spark-submitclient mode

中的某个工作节点上调用cluster mode的节点上启动