"无法导入名称SparkSession"

时间:2016-11-28 06:05:48

标签: python hadoop apache-spark pyspark bigdata

I cannot import SparkSession from pyspark.sql,but i can import Row

我的spark-1.6.0-bin-hadoop2.6安装在一个docker容器中,系统是centos

我该如何解决这个问题?这个问题长期困扰我

1 个答案:

答案 0 :(得分:13)

你不能使用它,因为它不存在,你使用的Spark版本是1.6,而SparkSession是在2.0.0中引入的。

您可以在此处看到:https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html

您可以从此处下载Spark 2.0.0:http://spark.apache.org/downloads.html