通过spark-SQL获取JSON数据

Question

当我尝试使用Spark-SQL查询获取嵌套的JSON数据时：

SparkContext sc = new SparkContext(new SparkConf().setAppName("sql").setMaster("local"));
SQLContext  sqlContext = new SQLContext(sc);
DataFrame df = sqlContext.read().json("path_to_s3_bucket").cache();
df.registerTempTable("table_name");
DataFrame d=sqlContext.sql("Select address.state as state from table_name");

我遇到了以下异常

Exception in thread "main" org.apache.spark.sql.AnalysisException: Can't extract value from address

我的Json数据如下： -

"address":{"city":"xyz","state":"abc","country":"pqr"}

请帮助解决问题。

Answer 1

你的json无效。它应该是：                                                                                        { “地址”：{ “城市”： “XYZ”， “状态”： “ABC”， “国”： “PQR”}}