使用spark-shell时，使用sparkConf.set（..）自定义SparkContext

Question

在Spark中，有3种主要方法可以指定用于创建SparkConf的{​​{1}}的选项：

1. 作为conf / spark-defaults.conf中的属性
   • 例如，行：SparkContext
2. as args to spark-shell或spark-submit
   • 例如，spark.driver.memory 4g
3. 在源代码中，在使用spark-shell --driver-memory 4g ...实例创建SparkConf之前配置SparkContext实例：
   • 例如，sparkConf.set( "spark.driver.memory", "4g" )

但是，使用spark-shell时，在获得shell提示符时，已经在名为sc的变量中为您创建了SparkContext。使用spark-shell时，如果在您有机会执行任何Scala语句之前已经创建了SparkContext，那么如何使用上面列表中的选项＃3来设置配置选项？

特别是，我正在尝试使用Kyro序列化和GraphX。在GraphX中使用Kryo的规定方法是在自定义SparkConf实例时执行以下Scala语句：

GraphXUtils.registerKryoClasses( sparkConf )

如何在运行spark-shell？

时完成此操作

Answer 1

Spark 2.0 +

您应该能够使用SparkSession.conf.set方法在运行时设置某些配置选项，但它主要限于SQL配置。

Spark＆lt; 2.0

您可以简单地停止现有上下文并创建一个新上下文：

import org.apache.spark.{SparkContext, SparkConf}

sc.stop()
val conf = new SparkConf().set("spark.executor.memory", "4g")
val sc = new SparkContext(conf)

您可以阅读official documentation：

  

一旦SparkConf对象传递给Spark，它就会被克隆，用户不能再修改它。 Spark不支持在运行时修改配置。

因此，您可以看到停止上下文，它是shell启动后唯一适用的选项。

您始终可以使用配置文件或--conf参数spark-shell来设置将用作默认上下文的必需参数。如果是Kryo，你应该看看：

• spark.kryo.classesToRegister
• spark.kryo.registrator

请参阅Compression and Serialization中的Spark Configuration。