使用Node.js,Express.js和gridfs-stream将文件直接传输到GridFS

时间:2014-02-23 19:21:49

标签: node.js mongodb express gridfs gridfs-stream

我正在使用最新版本的express,mongodb,nodejs等。我没有使用正文解析中间件,因为我不希望在上传时将文件存储在磁盘上。我只想将它们直接传输到GridF中。我正在使用gridfs-stream npm模块。我知道ExpressJs在下面使用了强大的功能。记住 - 我不希望文件到达磁盘。

这是我的路由处理程序,我只发布一个多部分表单 - 表单只包含一个文件以及1-3个可选字段。

为什么哦为什么form.on('part',function(part)) - 对于文件的同一部分多次调用超过100kb然后对于较小的文件 - 我们只接到一次调用?

我真正想要做的是将文件从上传直接流式传输到GridFs,并将同一帖子中的任何表单帖子字段附加到GridFs元数据。

mymodule.prototype.save = function(req,res,next) {


if(req._body) {
    //return next();
}else if(contentType(req) !== 'multipart/form-data') {
    return next();
}

var gfs = Grid(req.ctx.app.database.connection.db, mongo); 

req.body  || (req.body = {});
req.files || (req.files = {});

var form = req.form,
    body      = req.body,
    files     = req.files,
    cb_called = false;

var parts = {};
var info = '';

var fileId = mongoose.Types.ObjectId();
var gfs_ws;

form.on('part', function(part) {
    if (part.filename) { ///// THIS IS CALLED MORE THAN ONCE for each part.filename???? on large files -- but why???
        sendPart(part);
    }
});

form.on('field', function(name, value) {
    if ( Array.isArray(body[name]) ) {
        body[name].push(value);
    }else if (body[name]) {
        body[name] = [body[name], value];
    }else{
        body[name] = value;
    }
});

form.on('error', function(err) {
    if (err && err.length > 1){
        res.statusCode = 200;
        res.send({success: false, err: err});
    }
});

form.on('close', function() {
    try {
        //req.body = qs.parse(body); // if additional fields sent - for now we ignore them
    }
    catch (err) {
        return next(err);
    }
    res.send({ success: true }); //, id: fileId.toString() });
});

form.parse(req);

function contentType(req) {
    return req.headers['content-type'] && req.headers['content-type'].split(';')[0];
}

function sendPart(part) {

    if (!gfs_ws) { // THIS IS MY ATTEMPT TO STREAM ALL PARTS OF THE SAME FILE TO THE SAME GRIDFS RECORD - but really we should only ever have called sendPart(part) once for each file
        var options = {
            _id: fileId, // a MongoDb ObjectId
            filename: part.filename, // a filename
            mode: 'w', // default value: w+, possible options: w, w+ or r, see [GridStore](http://mongodb.github.com/node-mongodb-native/api-generated/gridstore.html)

            //any other options from the GridStore may be passed too, e.g.:
            //chunkSize: 1024, 
            content_type: part.headers['content-type'], //file.type , // For content_type to work properly, set "mode"-option to "w" too!
            //root: 'my_collection',
            metadata: {
                    recordId: req.params.recordid,
                    elementId: req.params.elementid
                }
        };
        gfs_ws = gfs.createWriteStream(options);
    }

    part.pipe(gfs_ws);

}

}

当我发布小文件(即< 100kb)form.on('part'...每个文件部分只调用一次 - 每个字段部分调用一次。我只在帖子中只有文件 - 所以sendPart(part)只被调用一个,文件放入GridFs和欢乐时光。

然而 - 对于较大的文件,即> 100kb - form.on('part' - 为同一个文件多次调用 - 即part.filename是

1 个答案:

答案 0 :(得分:0)

为了做到这一点,你可能不希望设置身体解析器。您实际上希望直接使用pipe接口。

有两件事,首先配置表达式来解析正文解析器中的mutipart函数。在这篇文章中描述:

How to disable Express BodyParser for file uploads (Node.js)

其次使用管道作为另一个组件引导到gridfs-stream。这篇文章给出了一个示例用法:

Storing data stream from POST request in GridFS, express, mongoDB, node.js