运行“ sc = SparkContext（）”时，如何解决错误“ TypeError：'模块'对象不可调用”？

Question

我按照说明在Amazon AWS上安装了PySpark： https://medium.com/@josemarcialportilla/getting-spark-python-and-jupyter-notebook-running-on-amazon-ec2-dec599e1c297

这很好：

Import pyspark as SparkContext

这会导致错误：

sc = SparkContext()

TypeError                                 Traceback (most recent call last)
    <ipython-input-3-2dfc28fca47d> in <module>
    ----> 1 sc = SparkContext()

    TypeError: 'module' object is not callable

Answer 1

您可以执行此操作-

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

Spark 2.0具有SparkSession作为单个入口点。您无需分别将SparkConf，SparkContext或SQLContext封装在SparkSession中。

有关更多详细信息，请参阅pyspark.sql.SparkSession文档。

Answer 2

pyspark是一个模块。您从SparkContext导入pyspark。

from pyspark import SparkContext