Cloudera 5.6 spark memoryFraction设置

Question

我有一个带有5.6 CDM（管理员）的CDH 5.6集群。我不确定在哪里可以设置spark -

的memoryfaction设置

spark.storage.memoryFaction
spark.shuffle.memoryFaction

尝试不同的设置并查看我的示例应用程序的性能。

Answer 1

创建spark上下文时：

RAII

或在进行spark-submit时，添加：

  sparkContext = {
    val conf = new SparkConf()
      .setAppName("Appname")
      .set("spark.storage.memoryFaction", "someval")
    new SparkContext(conf)
  }