Pyspark中SparkSession的导入错误

Question

我安装了Spark 2.0版本。我在Python 2.7上使用Pyspark。我似乎没有创建SparkContext的困难，但由于某种原因我无法导入SparkSession。有谁知道我做错了什么？

import pyspark
import pyspark.sql
from pyspark.sql import SparkSession
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
 ImportError: cannot import name SparkSession

Answer 1

奇怪的是，这完全可以从不同的目录中完成。从此路径运行文件不会导致错误！

/ Users /.../ spark-2.1.0-bin-hadoop2.7 / python /

Answer 2

SparkSession在Apache Spark 2中引入。 要使用它，您应该在运行pyspark之前指定正确的spark版本：

export SPARK_MAJOR_VERSION=2

Answer 3

导出您安装的正确的spark版本的spark，它对我的​​2.3版本有效。

export SPARK_VERSION = 2.3