我想在多节点集群上安装Hadoop HDFS和Spark。
我能够在多节点群集上成功安装和配置Hadoop。我还在主节点上安装并配置了Spark。
我怀疑我是否必须在奴隶中配置火花?
答案 0 :(得分:3)
我怀疑我是否必须在奴隶中配置火花?
你不应该。你完成了。你做的不仅仅是你必须将Spark应用程序提交给Hadoop YARN(我总结是集群管理器)。
Spark是一个用于大规模数据集的分布式计算的库,因此它只属于您的Spark应用程序(不是您可能使用的任何集群)。
到spark-submit
Spark应用程序的时间!