使用Spark读取json数据时出现以下异常。
这是我的json数据:
{
"details": {
"id": 2,
"name": "MNN",
"type": "Internal"
}
}
这是我的示例代码:
{
SparkSession session = SparkSession.builder().master("local").appName("jsonreader").getOrCreate();
Dataset<Row> list = session.read().format("json").json("/Users/hadoop/Desktop/sample.json");
list.select("producerProfile.id").show();
}
这是我的例外:
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`details.id`' given input columns: [_corrupt_record];;
'Project ['details.id]
+- Relation[_corrupt_record#8] json