多个文件上传到s3 node.js

时间:2018-08-08 11:14:14

标签: javascript amazon-web-services amazon-s3 aws-sdk

我正在使用MEAN堆栈应用程序,并且正在使用aws sdk将多个文件上传到s3。我正在使用busboy和AWS SDK。

代码:

var inputObj = {};
 var busboy = new Busboy({ headers: req.headers });
    // The file upload has completed
    busboy.on('finish', function() {
     console.log('Upload finished.....');
     var file = [];
     const file1 = req.files.clogo;
     const file2 = req.files.cbanner1;
     const file3 = req.files.cbanner2;
     const file4 = req.files.cbanner3;
     const file5 = req.files.cbanner4;
     const file6 = req.files.clongHeader;
     file.push(file1);
     file.push(file2);
     file.push(file3);
     file.push(file4);
     file.push(file5);
     file.push(file6);
     multipleUploadToS3(req.body.cname, file, function(fileName) {
            console.log("client file upload finished.....");
             if(fileName.length == 6){
                inputObj.clogo = fileName[0];
                inputObj.cbanner1 = fileName[1];
                inputObj.cbanner2 = fileName[2];
                inputObj.cbanner3 = fileName[3];
                inputObj.cbanner4 = fileName[4];
                inputObj.clongHeader = fileName[5];

                console.log(inputObj);
                var clientObj = new client(inputObj);
                clientObj.save(function(err, client) {
                    console.log("Client Saved.....");
                    if (err) {
                        return res.status(400).send({
                            message: errorHandler.getErrorMessage(err)
                        });
                    } else {
                        res.json(client);
                    }
                });    
             }
     });
    });
    req.pipe(busboy);

文件上传方法:

function multipleUploadToS3(client, file, callback) {
    console.log("multipleUpload to S3"); 
    console.log(client);
    console.log(file);

    let s3bucket = new AWS.S3({
        accessKeyId: IAM_USER_KEY,
        secretAccessKey: IAM_USER_SECRET,
        Bucket: BUCKET_NAME,
    });

    var fileNames = [];

    for(var i=0; i<file.length; i++){
        s3bucket.createBucket(function () {
            var params = {
            Bucket: BUCKET_NAME,
            Key: client+ '/' + file[i].name,
            Body: file[i].data,
            };
            s3bucket.upload(params, function (err, data) {
                if (err) {
                    console.log('error in callback');
                    console.log(err);
                }
                console.log('success');
                //console.log(data.key);
                fileNames.push(data.key);
                if(i == file.length){ callback(fileNames);}
            });
        });
    }

};

问题是,文件上传是异步的,例如,如果我正在上传的 file1 honest.jpg ,那么我想要 multipleUploadToS3 方法,用于在文件上传到s3后返回文件名。我将其绑定到 inputObj 键中,这些键将保存到 mongo db 中。因此 inputObj.logo 中应该包含 logo.png ,而不是由于异步调用而出现的横幅图像。

这适用于单个文件,但不适用于多个文件。

需要任何指针或启动器来处理此问题。

谢谢

1 个答案:

答案 0 :(得分:1)

问题是因为for循环是同步的,文件上传是异步的。

在下面看这个例子,

for(var i = 0; i<5;i++) {
  setTimeout(function(){ console.log(i); }, 100);
}

上面的循环将打印5次5次,即55555。

此行为是因为for循环立即执行,使i = 5,并且当执行超时时,它会打印5次“ i”值5。 5次,因为setTimeout在队列中被推送了5次。

有两种方法可以解决您面临的问题

  1. 您可以使用递归。
  2. 使用 neo-async (异步并行)lib控制javascript(Nodejs)的异步流。 click here for neo-async lib

希望这可以消除您的疑问。请发表评论以获取更多信息。