名字＆＃39; sc＆＃39;未定义＆amp;无法一次运行多个SparkContexts

Question

我在我的jupyter笔记本中使用了pyspark 2.2.0 有时它发生在我使用sc的时候，例如这里

from pyspark.sql import SQLContext
from pyspark.sql.session import SparkSession
spark=SparkSession.builder.getOrCreate()
sparkContext=SQLContext(sc)

我收到错误

  

NameError：name＆＃39; sc＆＃39;未定义

但如果我通过添加

来修改我的代码

from pyspark import SparkContext
sc =SparkContext()

我收到错误

  

ValueError：无法一次运行多个SparkContexts

我需要做什么？

Answer 1

spark是您想要的对象。不是sc。

您收到错误的事实意味着您需要获取或创建您已经拥有的会话。

SparkSession.builder.getOrCreate()

我不确定你需要SQLContext。 spark.sql()或spark.read()是数据集入口点。

Spark docs

上的第一颗子弹

  

SparkSession现在是Spark的新入口点，取代了旧的SQLContext和HiveContext

如果您需要sc变量，那就是sc = spark.sparkContext