动态分配设置为true时手动分配核心数

Question

我们有一个3节点集群。每个节点有20个内核和100GB内存。我们将动态资源分配设置为true。

我想根据自己的意愿调整资源。

例如：

1. spark-submit仅使用1个核心。默认情况下，它会选择4-6个核心。
2. 我想为每次运行的spark-submit设置此项。

我如何达到我的要求。

Answer 1

spark.dynamicAllocation.enabled是应用程序的属性。可以使用以下方法之一在每次提交时设置：

• 将--conf选项传递给Spark提交。
• 在spark.dynamicAllocation.enabled对象上设置SparkConf。
• 使用config的{​​{1}}方法。