java.util.NoSuchElementException：spark.executor.cores

Question

我试图用这段代码计算每个执行器中的核心数：

sqlContext.sparkContext.getConf.get("spark.executor.cores").toInt

但是，我收到此错误：

spark.executor.cores
java.util.NoSuchElementException: spark.executor.cores
    at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:193)
    at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:193)
    at scala.Option.getOrElse(Option.scala:120)

为什么会失败？

Answer 1

这有效：

sqlContext.sparkContext.getConf.getInt("spark.executor.cores", -1)