我在单个json文件中有一个数据库转储，大小约为400 GB（不是我的选择，必须使用我得到的东西），目标是解析它并将其插入postgre。它包含约110万个大型嵌套对象。
现在我正在使用mongoDB作为解析器，然后从那里进行批量查询，并使用php（yii2）插入postgre，但是即使在当前状态下，我也可以用2天以上的时间进行处理查询时间随着偏移量的增加而急剧增加（从0的1秒到100k的70秒，甚至更多）。
正如我所说，我的主要目标是以一种最有效的方式将其全部解析为postgres，所以我愿意接受任何语言的任何解决方案（如果值得的话），因为我每周必须这样做< / p>
更新。
我发现json中的所有对象实际上都是用换行符分隔的，因此我只是逐行解析它们，并在解析过程中批量插入postgres中。这种方法将解析时间减少到1小时。