'SparkSession'对象没有属性'sparkContext'

Question

我有Spark 2.0.0，我正在尝试从Spark源代码运行一些Python示例。

这是example。我跑得像：

spark-submit pi.py 2

但我不断收到以下错误：

Traceback (most recent call last):
  File "/home/docker-user/src/hellospark/src/main/python/pi.py", line 21, in <module>
    count = ss.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
AttributeError: 'SparkSession' object has no attribute 'sparkContext'

我还测试了其他示例，如wordcount.py，sort.py和sql.py，它们都按预期工作。以前有人遇到过这个问题吗？任何评论都会非常有用。

提前致谢!!

Answer 1

正如@stpk所提到的，你可能正在运行一个较旧的spark版本。例如，Spark 1.5.1没有pyspark.sql.SparkSession（请查看api document，但更高版本有doc。或者使用较旧的测试文件。