在Spark的交互式shell中，如何在Spark上下文中集成conf param？

Question

我是Spark的新手。在网上看到的多个例子中，我们看到类似的东西：

conf.set("es.nodes", "from.escluster.com")
val sc = new SparkContext(conf)

但是当我尝试在交互式shell中执行此类操作时，我收到错误：

org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243)

那么我该如何设置conf参数并确保sc＆＃34;整合＆＃34;它？

Answer 1

两个选项：

• 在此代码之前致电sc.stop()
• 使用附加配置添加--conf作为spark-shell参数