yarn - Flink独立集群管理器是否支持在集群上同时运行应用程序

时间：2018-01-10 06:48:06

标签： yarn apache-flink job-scheduling

我有一个Flink集群，有8个CPU核心和16GB RAM。当我使用以下命令向集群提交作业时： flink run -m ip:port -p 8 X.jar

在作业管理器Web界面中，我可以看到所有8个核心都被使用。根据文档，Flink独立集群管理器使用FIFO调度运行应用程序。我想知道Flink独立集群管理器是否支持在集群上同时运行应用程序，例如循环法？或者我应该使用YARN？

答案 0 :(得分：1)

只要您在任务管理器上有足够的任务位置，您的作业将由Flink同时执行。不是以循环方式，而是在不同的线程中同时在一起。 Parallelism是允许您控制单个任务使用的线程数的参数：

然而由于各种原因，主要与资源管理有关（控制/限制/分配/跟踪资源，如在单个JVM内运行的两个不同逻辑应用程序的内存）是不可能/难以实现的，建议启动一个Flink每个应用程序集群YARN是实现这一目标的一种方式（记录here）。它允许您基于每个容器控制资源。