我在Spark文档中查找答案,但找不到我的答案。
当火花在具有多个从属节点的独立模式下工作时,主服务器是否也在执行部分工作,或者只管理其他节点?
我想知道这个(独立)部署模式的答案,以及Mesos / Yarn选项的答案。
感谢您的时间和帮助。
答案 0 :(得分:1)
当火花在具有多个从属节点的独立模式下工作时,主服务器是否也在执行部分工作,或者只管理其他节点?
没有
在集群解决方案(例如Apache Mesos aka DC / OS,Hadoop YARN,Spark Standalone)中,主服务器仅负责管理节点提供的整个集群中的CPU(作为vcores)和内存。集群管理器不参与向应用程序(也称为框架)提供(CPU和内存)资源。