我有2个CPU的单节点集群,我想运行2个火花流工作。
我还想使用提交模式" cluster"。我正在使用独立集群管理器。 当我提交一个应用程序时,我看到该驱动程序消耗1个核心,而工作者1核心。
这是否意味着没有可用于其他流媒体作业的核心? 2个流媒体作业可以重用执行程序吗?
这让我感到很困惑,而且我在文档中找不到它。
Srdjan
答案 0 :(得分:1)
这是否意味着没有可用于其他流媒体作业的核心?
如果你有一个拥有2个CPU的工作人员并且你正在以群集模式部署,那么你将没有可用的核心,因为工作人员必须使用专用核心才能在你的工作机器上运行tge驱动程序进程。 / p>
2个流媒体作业可以重用执行程序吗?
不,每个作业都需要分配集群管理器提供的专用资源。如果一个作业正在运行所有可用资源,则下一个计划作业将处于WAITING状态,直到第一个完成。您可以在Spark UI中看到它。