将大型JSON数据集从REST API转换为新的转换文件

时间:2019-01-05 23:07:47

标签: javascript json

我正在编写一个JavaScript函数,该函数从REST API中提取(粗略的)JSON数据集。该功能的目的是然后挑选出所需的JSON各个部分,因为我确实不需要很多东西。然后,我将该信息放入一个新的转换文件中。我一直在寻找有关如何处理此问题的最佳做法。

我是否应该简单地创建一个对象数组来表示要创建的转换后的输出文件,然后从每个JSON对象中提取所需的片段并将其放入这个新对象中?

我还应该首先解析所有JSON数据并将其捆绑到对象数组中吗?然后获取数组和对象并生成我的新输出,转换后的文件?还是有其他方法可以流式传输REST API并直接进入新的输出文件?

只是在寻找有关此事的想法和最佳做法?不知道需要容纳所有这些数据的阻塞和内存问题。

我在网上找到的唯一文章只是通过JSON.parse对JSON进行简单的解析,然后再进行一些操作。但是我的JSON是大量的各种对象

1 个答案:

答案 0 :(得分:1)

这在很大程度上取决于API的设置方式。如果它是更现代的rest API,则可以将其设置为路由,以便您可以请求资源的特定路径。例如,如果URL为...path/to/data.json,则可以通过对...path/to/data.json[0]的网络调用来获取第一条记录。这样一来,您一次只能检索一个记录,而不会阻止所有记录。

不幸的是,如果没有这样设置,那么没有太多选择。您必须尝试将整个表下载为JSON,然后从那里解析它。如果您熟悉Node.js,则仍​​可以使用JavaScript进行某些操作来解析文件。那时,只需要做Array.filterArray.map并根据需要创建一个新的JSON文件即可。