使用JS提取处理大数据的最佳实践?

时间:2018-10-24 09:07:17

标签: javascript node.js json fetch

服务器需要时间(大约2分钟)来导出大型JSON数据,而在服务器响应之前,我在客户端收到超时错误。 我在Google上搜索了一下,但是无论如何我都找不到延长超时或超时后继续的方法。

fetch(url).then(resolve,reject);

2 个答案:

答案 0 :(得分:0)

您可以在这里做的事。

1)例如,如果要在表中显示该数据,则获取分块数据,以查找DataTables Server端处理的内容。

2)如果您仍然希望在单个请求中提供整个请求,请尝试使用一些数据库索引以使其更快

3)增加服务器超时。

答案 1 :(得分:-1)

我假设您在节点中使用访存。

尝试使用流获取块中的数据。一个例子是:

fetch(url)
    .then(res => {
        return new Promise((resolve, reject) => {
            const dest = fs.createWriteStream('some/file/path');
            res.body.pipe(dest);
            res.body.on('error', err => {
                reject(err);
            });
            dest.on('finish', () => {
                resolve();
            });
            dest.on('error', err => {
                reject(err);
            });
        });
    });

您可以根据需要进一步使用该流。