如何从SparkSession实例访问SparkContext？

Question

我在PySpark中导入SparkSession，如下所示：

from pyspark.sql import SparkSession

然后我创建SparkSession：

spark = SparkSession.builder.appName("test").getOrCreate()

并尝试访问SparkContext：

spark.SparkContext.broadcast(...)

但是，我收到SparkContext不存在的错误。如何设置broadcast变量？

Answer 1

你几乎把它弄好了，开头是小写的：

>>> spark.sparkContext
<SparkContext master=local[*] appName=PySparkShell>

Answer 2

假设您有个火花会议

spark_session = SparkSession \
    .builder \
    .enableHiveSupport() \
    .getOrCreate()

---

可以使用

来推断火花上下文

spark_context = spark_session._sc

或

spark_context = spark_session.sparkContext