为Spark

时间:2018-05-31 11:05:32

标签: scala apache-spark apache-spark-sql spark-streaming spark-cassandra-connector

我有以下代码: -

 val conf = new SparkConf()
  .setAppName("Data")
  .set("spark.cassandra.connection.host", "192.168.0.40,192.168.0.106,192.168.0.113")
  .set("spark.cassandra.connection.keep_alive_ms", "20000")
  .set("spark.executor.memory", "1g")
  .set("spark.driver.memory", "2g")
  .set("spark.submit.deployMode", "cluster")
  .set("spark.executor.instances", "10")
  .set("spark.executor.cores", "1")
  .set("spark.cores.max", "10")
  .set("spark.driver.cores", "3")

我有4个节点集群,每个集群有3个核心。尝试执行一个作业,在集群中的9个执行程序上运行,每个内存为1GB RAM,如spark.executor.memory中所述当我检查spark UI时,它显示每个节点上只有1 GB,但是

enter image description here

屏幕截图显示我有10个核心,每个核心分配1 GB,但在下面可以看到每个节点分配1 GB。但是,当我运行我的应用程序时,每个执行程序显示336 MB,如下图所示: -

enter image description here

需要了解这是如何工作的,如果每个节点上消耗3 GB,那么为什么每个执行器只分配336 MB?

谢谢,

0 个答案:

没有答案