使用Pyspark将单个文件中包含的JSON对象合并为一个JSON文件

Question

我有一个大约20 GB的巨大文件，其中包含JSON对象，如下所示：

{"-LGsfNZANyy3sWBuNn5s":{"callsign":"6aay","deviceId":"97436FB5-B4DE-8D8E-0000-000000000000"}}
{"-LIIe7e7tz1BzSzhG1AK":{"callsign":"3fox","deviceId":"9A554634-2373-DFDF-0000-000000000000","dow":"Tuesday"}}

我需要创建一个包含其中所有这些对象的JSON对象，如下所示：

{"-LGsfNZANyy3sWBuNn5s":{"callsign":"6aay","deviceId":"97436FB5-B4DE-8D8E-0000-000000000000"},
"-LIIe7e7tz1BzSzhG1AK":{"callsign":"3fox","deviceId":"9A554634-2373-DFDF-0000-000000000000","dow":"Tuesday"}}

可以使用Pyspark完成吗？任何帮助/建议都将不胜感激。