spark submit只运行一个工作节点

Question

我们有火花丛 - ＆gt; master和2个worker节点。当我们执行spark提交时 - 执行程序仅在单个工作节点上运行。为什么地图转换不会在两个工作节点上运行？任何设置或因素都适用于此？ 谢谢

Answer 1

请检查以下内容：

1. 懒惰工人（又名奴隶）真正与主人
相连
2. 您的数据的分区数量，如果您有2个分区，1个工作人员有4个核心 - 一切都将在同一个工作人员中完成（您可以通过将数据重新划分为更多分区来检查）

@Priya我认为你的问题是在代码中设置master（seMaster（local））。代码优先于cli设置。如果你删除它，你将使用master拥有所有资源。