停止所有现有的火花环境

Question

我正在尝试使用pyspark创建一个新的Spark上下文，我得到以下内容：

  

WARN SparkContext：正在构建另一个SparkContext（或者抛出   构造函数中的异常）。这可能表示错误，因为   此JVM中只能运行一个SparkContext（请参阅SPARK-2243）。该   其他SparkContext创建于：   org.apache.spark.api.java.JavaSparkContext（JavaSparkContext.scala：61）。

我没有任何其他上下文活动（理论上），但也许它没有正确完成，它仍然存在。我怎样才能知道是否有其他的或杀死所有当前的？我正在使用spark 1.5.1

Answer 1

当你运行pyspark shell并在其中执行python脚本时，例如，使用'execfile（）'，SparkContext可用作sc，HiveContext可用作sqlContext。要运行没有任何上下文的python脚本，只需使用./bin/spark-submit'your_python_file'。