如何在多节点Hadoop集群上设置Spark?

时间:2017-05-19 11:10:06

标签: hadoop apache-spark hdfs

我想在多节点集群上安装Hadoop HDFS和Spark。

我能够在多节点群集上成功安装和配置Hadoop。我还在主节点上安装并配置了Spark。

我怀疑我是否必须在奴隶中配置火花?

1 个答案:

答案 0 :(得分:3)

  

我怀疑我是否必须在奴隶中配置火花?

你不应该。你完成了。你做的不仅仅是你必须将Spark应用程序提交给Hadoop YARN(我总结是集群管理器)。

Spark是一个用于大规模数据集的分布式计算的库,因此它只属于您的Spark应用程序(不是您可能使用的任何集群)。

spark-submit Spark应用程序的时间!