从多个JSON文件创建完整的结构

时间:2018-10-04 07:39:46

标签: json pyspark

我有六种类型的JSON文件(每种都有不同的预订状态),所有这些文件都需要使用PySpark加载到单个数据库表中。文件之间有许多共同的领域。但是,根据状态,某些JSON将具有一些额外的字段,而有些则没有。

由于所有这些最终都需要加载到单个表中,因此我需要使用特定的架构来读取它们。这样,如果JSON没有必填字段之一,则在提取该字段时,它可以返回空值,而不会引发该字段不存在的错误。

问题是,客户端无法提供可以读取所有六个文件的主结构。有没有一种简单的方法可以比较这六种JSON类型并从中创建一个主JSON结构?

0 个答案:

没有答案