集群(Apache Spark)中的主节点是否需要大量RAM?

时间:2019-05-15 21:56:06

标签: apache-spark ram master-slave

鉴于可以在群集中使用3台机器(具有不同的硬件规格),我很难确定应该将哪个机器用作主节点。

经过一些搜索后,很明显主节点不用于运行任务,而是负责执行驱动程序。尽管如此,this answer指出,主节点最终可能需要大量的RAM。

以下是可用计算机的硬件规格:

CPU:    AMD Ryzen 5 2600 (6 cores @3,4GHz)
RAM:    16GB Corsair Vengeance (@2400MHZ)
DISK:   240GB SSD NVMe + 750GB HDD (@7200rpm)
GPU:    Geforece GTX 1050Ti (4GB 128-Bit GDDR5)

CPU:    Intel i7-4700MQ CPU (4 cores @2.40GHz)
RAM:    8GB Corsair Vengeance (@1600MHZ)
DISK:   SSD 128GB
GPU:    Nvidia GeForce GTX 765M (2GB 128-Bit GDDR5)

CPU:    Intel i5
RAM:    4GB @1600MHZ
DISK:   HDD 1TB (@5600rpm)
GPU:    Intel Integrated Graphics

如您所见,这3台机器的范围从出色到普通。我倾向于选择Intel i5笔记本电脑作为主节点,因为它是次要的机器,但是由于担心主节点可能需要大量RAM,我陷入了死胡同。

因此,我希望有人能够帮助我回答应将哪台计算机用作主节点。谢谢!

0 个答案:

没有答案