并非所有节点都用于火花作业

时间:2016-06-12 16:22:33

标签: hadoop apache-spark

我在群集模式下运行spark-submit,在hadoop上使用yarn。这完全来自apache。我尝试了PI java示例,发现4个spark slave节点中只有一个用于进行实际计算(一个节点有一个日志文件,输出为pi值)。

尝试另一个python应用程序我发现最多只使用两个节点。这是最多四个中的两个。

这是正常的行为,还是我错过了什么?提前谢谢。

0 个答案:

没有答案