请在这里澄清我的问题:
1-是工作程序节点的概念是相同的= 1执行程序!
2-每个工作节点中可以有多少个容器,我们可以有多少个执行器!
三合一执行器可以拥有多少个核心!我问这个问题,因为当我在具有dataproc服务集群的gcp google云端平台中创建时,我有3个具有2个核心的工作程序节点,我看到我有6个执行者,而且我想知道1个执行者只能有一个核心!
答案 0 :(得分:0)
您可能还想考虑使用SparkContext.setSystemProperty("spark.dynamicAllocation.enabled", "true")
可以为您处理所有此配置:)