我有以下代码: -
val conf = new SparkConf()
.setAppName("Data")
.set("spark.cassandra.connection.host", "192.168.0.40,192.168.0.106,192.168.0.113")
.set("spark.cassandra.connection.keep_alive_ms", "20000")
.set("spark.executor.memory", "1g")
.set("spark.driver.memory", "2g")
.set("spark.submit.deployMode", "cluster")
.set("spark.executor.instances", "10")
.set("spark.executor.cores", "1")
.set("spark.cores.max", "10")
.set("spark.driver.cores", "3")
我有4个节点集群,每个集群有3个核心。尝试执行一个作业,在集群中的9个执行程序上运行,每个内存为1GB RAM,如spark.executor.memory中所述当我检查spark UI时,它显示每个节点上只有1 GB,但是
屏幕截图显示我有10个核心,每个核心分配1 GB,但在下面可以看到每个节点分配1 GB。但是,当我运行我的应用程序时,每个执行程序显示336 MB,如下图所示: -
需要了解这是如何工作的,如果每个节点上消耗3 GB,那么为什么每个执行器只分配336 MB?
谢谢,