我们是否需要在所有数据节点上安装spark worker节点?

时间:2016-05-11 12:32:35

标签: hadoop apache-spark

我正在筹划一个新的火花星团。我的问题是我需要在所有数据节点上安装spark worker节点吗?例如,如果我有50个数据节点而我只安装了10个spark worker节点,这是否合理? 谢谢!

1 个答案:

答案 0 :(得分:0)

是的,您需要在所有节点上安装spark worker,因为默认情况下您将使用哪个节点无法预测。 有关多节点火花安装的信息,请找this link