Spark阅读Json

Question

我尝试在http://spark.apache.org/docs/latest/sql-programming-guide.html#sql

上制作示例

我在shell上尝试了这个命令：

val df = sqlContext.read.json("examples/src/main/resources/people.json")

它出错：“在作业中没有指定输入路径”

为什么会出现这个问题？我该如何处理？

感谢。

Answer 1

错误意味着您没有在右侧文件夹中启动spark-shell，因为路径是相对路径。要解决此问题，您需要将工作目录更改为spark主目录或将路径更改为绝对路径。

假设您的spark安装在名为/Applications/spark-1.6.1的mac文件夹中，那么您可以先导航到shell中的该文件夹，然后运行spark-shell或运行：

scala> val df = sqlContext.read.json("/Applications/spark-1.6.1/examples/src/main/resources/people.json")

scala> df.show()
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+