如何阅读并将大文件上传到s3？

Question

我正在使用Node.js .10.22和q-fs

我正在尝试将对象上传到S3，一旦对象超过某个MB大小，就会停止工作。

除了占用我机器上的所有内存外，它还给我这个错误

RangeError: length > kMaxLength
at new Buffer (buffer.js:194:21)

当我尝试在文件上使用fs.read时。

通常，当这有效时，我会s3.upload，并将缓冲区放在Body字段中。

如何处理大型物体？

Answer 1

您需要使用API​​的流式版本将可读文件系统流直接传输到您正在使用的s3模块提供的S3上传http请求正文流。以下是aws-sdk documentation

的示例

var fs = require('fs');

var body = fs.createReadStream('bigfile');
var s3obj = new AWS.S3({params: {Bucket: 'myBucket', Key: 'myKey'}});
s3obj.upload({Body: body}).
  on('httpUploadProgress', function(evt) { console.log(evt); }).
  send(function(err, data) { console.log(err, data) });