从命令行读取Spark-scala中的JSON文件

Question

代码：

val path = "/test/path"
var df = spark.read.format("json").load(path)

这在zepplin笔记本电脑上工作得很好。但是，当我尝试使用命令行运行相同的代码时，出现以下错误。

spark-shell
--same code--

error: not found: value spark

这是我第一次尝试使用cmd线产生的火花。关于我所缺少的任何建议都会有所帮助

Answer 1

这可能是因为您使用的是旧版Spark。尝试使用sc（SparkContext）代替Spark 2.0.0中引入的spark（SparkSession）。

此外，您正在尝试创建Dataframe。为了在Spark <2.0.0中做到这一点，您需要以这种方式创建的SQLContext：

val sqlContext = new SQLContext(sc)

然后您可以读取JSON文件：

val df = sqlContext.read.json(path)

无论如何，我建议您将Spark版本更新为最新版本。