在Spark独立集群中,主节点是否也运行任务?我不确定Executors进程是否在主节点上运行并且与Worker节点一起工作。
谢谢!
答案 0 :(得分:3)
执行程序只能在该节点上至少有一个工作守护程序的节点上启动,即,不会在不作为工作程序的节点中启动执行程序。
但是,从哪里开始Master和Workers都是基于您的决定,没有Master和Worker无法在同一节点上共同定位的限制。
要启动与主服务器相同的计算机的工作守护程序,您可以编辑conf/slaves
文件以在其中添加主IP并在启动时使用start-all.sh或随时启动工作程序您希望在主节点start-slave.sh
上提供Spark主网址--master spark://master-host:7077
更新(基于Daniel Darabos的建议):
在引用Application Detail UI
的{{1}}标签时,您还可以找到Executors
的行<driver>
,其所代表的驱动程序是在您的工作安排和监控的地方,它运行您提交给火花集群的Executor ID
程序,将您对RDD的转换和操作分成几个阶段,将阶段安排为任务集并安排main
运行任务。
此executors
将在您<driver>
中spark-submit
或client mode
cluster mode
的节点上启动