从node.js中的aws-sdk将JSON文件上传到aws s3存储桶

时间:2018-11-26 11:52:54

标签: node.js amazon-s3 aws-sdk multer multer-s3

我正在从第三方API接收对象数组,我想将其数据存储到JSON文件中的S3存储桶中。以下是我要实现的步骤

1>在S3存储桶中创建新的JSON文件 我有以下内容:

var AWS = require('aws-sdk')
var express = require('express')
var multer = require('multer')
var multerS3 = require('multer-s3')
AWS.config.loadFromPath('./lib/configFile.json');
var s3 = new AWS.S3();
var data =  [
             {
              name: abc,
              address: xyz, def-12345
             },{
              name: fgh,
              address: cvb, def-09876
             },{
              name: jkl,
              address: nbm, def-34566
             }
            ]

现在,我想将此数据作为JSON文件上传到S3存储桶中。 有什么方法可以将这些数据上传到S3,而无需在路径中创建任何临时json文件并将其直接存储到S3。

2>在S3上已经有JSON文件:    假设我在S3存储桶上已经有JSON文件,并且我想更新同一文件。 因此,要实现这一目标,有任何方法可以将JSON数据直接临时存储在某个地方并更新此文件。

实现此目标的最佳方法是什么?

1 个答案:

答案 0 :(得分:1)

我知道这很晚。但是我的评论可能会有所帮助。

几天前,即使我也有同样的情况。我的JavaScript对象很大。我正在寻找解决方案。然后我看了here

我创建了一个通用函数来上传文件,该文件可能是缓冲区,base64或JSON数据。

let data = {
  version: "2.3.4",
  objects: [{
    a: "imagas dae",
    verasdasdsion: "2.3.4",
    originX: "center",
    originY: "center"
  }],
  background: "#232326",
  canvasWidth: 619,
  canvasHeight: 413
}
uploadFile(JSON.stringify(data), 'test.json').then(r=>{}).catch(e=>{})



function uploadFile(file, file_name, path = '/defualt') {
    return new Promise((resolve, reject) => {
        if (Buffer.isBuffer(file) || (file && Buffer.isBuffer(file.buffer)) || String(file_name).includes('.json') || file.indexOf('data:') === 0) {
            file = Buffer.isBuffer(file) ? file : String(file_name).includes('.json') ? file : file.indexOf('data:') === 0 ? new Buffer(img_src.replace(/^data:\w+\/\w+;base64,/, ""), 'base64') : file.buffer;
            var data = {
                Key: file_name,
                Body: file,
                Bucket: "path/to/your/bucket" + path,
                CacheControl: 'no-cache'
            };


            if (file.indexOf('data:') === 0) {
                data['ContentType'] = String(file).substr(file.indexOf('data:') + 'data:'.length, file.indexOf(';'))
            } else if (String(file_name).includes('.json')) {
                data['ContentType'] = 'application/pdf';
            }

            s3.putObject(data, function (err, data) {
                if (err) {
                    console.log('Error uploading data: ', err);
                    return reject(err);
                } else {
                    return resolve({
                        name: file_name,
                        path: path
                    });
                }
            });
        } else {
            return reject('File is required');
        }
    });
}