在Apache Spark中是否也可以将主节点用作从节点?

时间:2019-11-26 11:17:57

标签: apache-spark cluster-computing distributed

我有2台计算机。一台电脑,另一台是笔记本电脑。我想用这两台电脑做一个火花集群。由于我没有更多的计算机,因此我想充分利用这两台计算机。在配置中,Pc是主节点,便携式计算机是从节点。 在Spark集群中是否可以将主节点(PC)用作主节点和从节点?我的意思是,如果拥有2台计算机,是否可能会有2个从属节点和1个主节点?我希望PC同时充当主机和从机。有可能吗?

1 个答案:

答案 0 :(得分:0)

  

是否可以将主节点(PC)同时用作主节点和   火花集群中的奴隶?可能有2个从属节点和1个主节点节点?

是的,您可以将其配置为两者。

有太多可用的链接。您可以参考它进行安装。我提到了一些链接,这些链接可以帮助您进行设置。

请参考下面的链接,并在spark conf目录的Slaves文件中更新PC主机名,并在 spark-env.sh中将PC主机名设置为SPARK_MASTER_HOST

https://www.edureka.co/blog/setting-up-a-multi-node-cluster-in-hadoop-2.X/

https://dzone.com/articles/setting-up-multi-node-hadoop-cluster-just-got-easy-2