Angular / Node.js文件上传仅适用于文件< 64K

时间:2015-08-28 16:55:16

标签: angularjs node.js mongodb mongoose

我遇到了将文件上传到我的项目上的问题(PS我对Web编程比较新)。我正在使用NodeJS / Express / Mongoose / Mongo和busboy作为API /后端,Angular使用ng-file-upload作为前端。

我正在尝试实现基本文件上传/下载,文件存储在Mongoose Schema中:

var mongoose = require('mongoose');
var Schema = mongoose.Schema;

var FileSchema = new Schema({
  filename: { type: String },
  owner: { type: String },
  contentType: { type: String },
  length: { type: Number },
  uploaddate: { type: Date, default: Date.now },
  metadata: {},
  file: { data: Buffer, contentType: String }
});

module.exports = mongoose.model('Files', FileSchema);

Node API:

api.route('/files')
  .post(function (req, res) {
   if (req.busboy) {
     var newFile = new File();
     var part = 0, buf = [], len = 0;
     var meta = {};
     var md5 = crypto.createHash('md5');

     req.busboy.on('field', function (key, value, keyTruncated, valueTruncated) {
       console.log('[FIELD] KEY:' + key + ' VALUE:' + value);
       if (key == 'owner') newFile.owner = value;
       else meta[key] = value;
   });

   req.busboy.on('file', function (fieldname, file, filename, encoding, mimetype) {
     console.log('File [' + fieldname + ']: filename: ' + filename + ', encoding: ' + encoding + ', mimetype: ' + mimetype);
     newFile.filename = filename;
     //newFile.contentType = mimetype;

     file.on('data', function (data) {
       console.log('File [' + fieldname + '] got ' + data.length + ' bytes');
       buf.push(data);
       len = len + data.length;
       part++;
     });
     file.on('end', function () {

       newFile.file.data = Buffer.concat(buf, part);
       md5.update(newFile.file.data);
       newFile.file.contentType = mimetype;
       newFile.length = len;
       console.log('File [' + fieldname + '] Finished');
       meta['md5'] = md5.digest('hex');
       newFile.metadata = meta;
       newFile.save(function (err, data) {
         if (err) console.log(err);
         res.json({ _id: newFile._id });
       })
     });

   });
   req.pipe(req.busboy);
 }
});

这适用于任何文件< 64KB,或在一个上传卡盘内。我已经根据存储的值验证了文件MD5,并从数据库中检索并且图像加载正常。问题是当上传被分成块时。发生了某些事情,导致它以某种方式被转换并破坏文件。原始文件的MD5和存储的MD5文件> 64kb或多个块不同......

我搞砸了什么?

或者,如果有人对如何更好地执行此功能有任何建议。

谢谢!

1 个答案:

答案 0 :(得分:2)

Buffer.concat()的第二个(可选)参数是数组中所有缓冲区的总字节长度,而不仅仅是buf.length。这是一个优化,否则Buffer.concat()必须遍历缓冲区以计算新缓冲区的总大小。

考虑到这一点,你需要改变:

newFile.file.data = Buffer.concat(buf, part);

为:

newFile.file.data = Buffer.concat(buf, len);