一个工人的多个火花流传输上下文

时间:2016-05-03 14:09:28

标签: apache-spark spark-streaming

我有2个CPU的单节点集群,我想运行2个火花流工作。

我还想使用提交模式" cluster"。我正在使用独立集群管理器。 当我提交一个应用程序时,我看到该驱动程序消耗1个核心,而工作者1核心。

这是否意味着没有可用于其他流媒体作业的核心? 2个流媒体作业可以重用执行程序吗?

这让我感到很困惑,而且我在文档中找不到它。

Srdjan

1 个答案:

答案 0 :(得分:1)

  

这是否意味着没有可用于其他流媒体作业的核心?

如果你有一个拥有2个CPU的工作人员并且你正在以群集模式部署,那么你将没有可用的核心,因为工作人员必须使用专用核心才能在你的工作机器上运行tge驱动程序进程。 / p>

  

2个流媒体作业可以重用执行程序吗?

不,每个作业都需要分配集群管理器提供的专用资源。如果一个作业正在运行所有可用资源,则下一个计划作业将处于WAITING状态,直到第一个完成。您可以在Spark UI中看到它。