Spark独立集群行为查询

Question

我们有两台带有linux的unix机器，每台机器有20个核心。我们需要设置一个带有spark调度程序的独立集群。此时我们暂时无法拥有cloudera / Hortonwork。我的查询是关于Spark Scheduler的。

如果我创建一台unix机器作为主机和从机，第二台机器作为从机节点，那么我可以运行多少核心来运行火花机代码。它会是40还是更少？我可以在群集模式下在此群集上运行多个作业吗？

Answer 1

您的驱动程序需要一个核心，因此执行程序可以拥有的最大核心数为39。

您的群集如何运行作业取决于您配置resource scheduling的方式。目前，在独立模式下仅支持单个应用程序中的FIFO作业调度 ，但您可以将可变数量的资源分配给不同的应用程序。