axios-处理GT 1GB数据

时间:2018-11-21 10:29:31

标签: node.js axios http-get

我有一个API必须从中提取数据。不幸的是,这种力量只会让我获得所有数据,或者什么也得不到。问题在于,在某些情况下,该数据的大小为800MB,而其他一些端点返回的数据超过1GB。

我遇到以下错误

if (encoding === 'utf8') return buf.utf8Slice(start, end);
                                          ^

Error: "toString()" failed
    at stringSlice (buffer.js:560:43)
    at Buffer.toString (buffer.js:633:10)
    at IncomingMessage.handleStreamEnd (/apps/microservices/ln_warehouse/node_modules/axios/lib/adapters/http.js:197:41)
    at emitNone (events.js:111:20)
    at IncomingMessage.emit (events.js:208:7)
    at endReadableNT (_stream_readable.js:1055:12)
    at _combinedTickCallback (internal/process/next_tick.js:138:11)
    at process._tickCallback (internal/process/next_tick.js:180:9) 

不确定这是否与数据响应的大小有关,但这仅适用于大型数据集。

是否有一种方法可以在接收到axios数据时将其流式传输出去?

0 个答案:

没有答案