Question

我正在编写一个Spark结构化的流应用程序，其中需要将使用Spark处理的数据下沉到s3存储桶中。

这是我的开发环境。

Hadoop 2.6.0-cdh5.16.1

Spark版本2.3.0.cloudera4

我想限制VCores的使用

到目前为止，我已经使用spark2-submit将选项指定为--conf spark.cores.max = 4。但是，提交作业后，我发现该作业占用了群集中的最大可用VCore（我的群集有12个VCore）

由于VCore的不可用，下一个作业没有开始。

哪个是限制每个作业使用VCore的最佳方法？

到目前为止，我正在做一些变通方法，例如：我在集群中创建了资源池，并将某些资源分配为

最少资源：4个虚拟内核和8 GB内存

使用这些池分配火花作业以限制VCore的使用。

themes/mytheme/front-page.php

我想在没有任何解决方法的情况下限制VCore的使用。

我也尝试过

all

和下面是观察。

Answer 1

您可以使用“ --executor-cores”选项，它将为每个执行器分配核心数。可以参考1和2