我有2台计算机。一台电脑,另一台是笔记本电脑。我想用这两台电脑做一个火花集群。由于我没有更多的计算机,因此我想充分利用这两台计算机。在配置中,Pc是主节点,便携式计算机是从节点。 在Spark集群中是否可以将主节点(PC)用作主节点和从节点?我的意思是,如果拥有2台计算机,是否可能会有2个从属节点和1个主节点?我希望PC同时充当主机和从机。有可能吗?
答案 0 :(得分:0)
是否可以将主节点(PC)同时用作主节点和 火花集群中的奴隶?可能有2个从属节点和1个主节点节点?
是的,您可以将其配置为两者。
有太多可用的链接。您可以参考它进行安装。我提到了一些链接,这些链接可以帮助您进行设置。
请参考下面的链接,并在spark conf目录的Slaves文件中更新PC主机名,并在 spark-env.sh中将PC主机名设置为SPARK_MASTER_HOST
。
https://www.edureka.co/blog/setting-up-a-multi-node-cluster-in-hadoop-2.X/
https://dzone.com/articles/setting-up-multi-node-hadoop-cluster-just-got-easy-2