Spark读取具有重复结构的多行json而不丢失数据

时间:2018-12-11 09:00:58

标签: scala apache-spark

我有一个问题。有什么解决方案可以很好地读取json而不丢失数据吗?因此,我们在A结构中有重复项,并且仅从第二个结构中获取数据。

{        
"Data":{
        "A":{  
            "B":"005"
        },
        "A":{  
            "B":"005"
    }
  }
}

val df =  spark.read
.option("multiLine","true")
.json("...")

结果是:

+---------+
|     Data|
+---------+
|[, [005]]|
+---------+

是否有可能修复它? :)

0 个答案:

没有答案