使用Spark读取单个Json对象数据时出现异常

时间:2018-08-08 08:47:04

标签: json apache-spark hadoop databricks

使用Spark读取json数据时出现以下异常。

这是我的json数据:

{
  "details": {
    "id": 2,
    "name": "MNN",
    "type": "Internal"
  }
}

这是我的示例代码:

    {
            SparkSession session = SparkSession.builder().master("local").appName("jsonreader").getOrCreate();
            Dataset<Row> list = session.read().format("json").json("/Users/hadoop/Desktop/sample.json");
            list.select("producerProfile.id").show();

    }

这是我的例外:

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`details.id`' given input columns: [_corrupt_record];;
'Project ['details.id]
+- Relation[_corrupt_record#8] json

0 个答案:

没有答案