Scala中的Apache Spark配置

时间:2019-07-05 14:19:08

标签: scala apache-spark

我在Scala应用程序中使用Apache Spark。问题是该应用程序正在永久使用所有CPU内核(平均百分比为95)。我什至尝试将spark.cores.max设置为1,但似乎没有帮助。我的应用程序在本地运行(具有4个CPU内核)。可能是什么问题?这是我用于创建Spark配置的版本和代码。

  val sparkConf = new SparkConf()
   .setAppName("MyApp")
   .setMaster("local[4]")
   .set("spark.cores.max", "1")

scala版本:2.11.12
星火版本:2.3.0

0 个答案:

没有答案