我有一个API必须从中提取数据。不幸的是,这种力量只会让我获得所有数据,或者什么也得不到。问题在于,在某些情况下,该数据的大小为800MB,而其他一些端点返回的数据超过1GB。
我遇到以下错误
if (encoding === 'utf8') return buf.utf8Slice(start, end);
^
Error: "toString()" failed
at stringSlice (buffer.js:560:43)
at Buffer.toString (buffer.js:633:10)
at IncomingMessage.handleStreamEnd (/apps/microservices/ln_warehouse/node_modules/axios/lib/adapters/http.js:197:41)
at emitNone (events.js:111:20)
at IncomingMessage.emit (events.js:208:7)
at endReadableNT (_stream_readable.js:1055:12)
at _combinedTickCallback (internal/process/next_tick.js:138:11)
at process._tickCallback (internal/process/next_tick.js:180:9)
不确定这是否与数据响应的大小有关,但这仅适用于大型数据集。
是否有一种方法可以在接收到axios数据时将其流式传输出去?