使用stream将base64写入文件

时间:2014-06-14 12:35:05

标签: node.js express

我正在向我的服务器发送base64字符串。在服务器上,我想创建一个可读的流,我将base64块推送到那个然后转到可写流并写入文件。我的问题是只有第一个块被写入文件。我的猜测是因为我为每个块创建了一个新的缓冲区,这就是导致问题的原因,但是如果我只发送字符串块而没有创建缓冲区,则图像文件已损坏。

var readable = new stream.Readable();

readable._read = function() {}

req.on('data', function(data) {
    var dataText = data.toString();
    var dataMatch = dataText.match(/^data:([A-Za-z-+\/]+);base64,(.+)$/);
    var bufferData = null;

    if (dataMatch) {
        bufferData = new Buffer(dataMatch[2], 'base64')
    }

    else {
        bufferData = new Buffer(dataText, 'base64')
    }

    readable.push(bufferData)
})

req.on('end', function() {
    readable.push(null);
})

1 个答案:

答案 0 :(得分:5)

这并不像你想象的那么简单:

  1. 使用Transform,而不是Readable。您可以pipe请求流转换,从而处理背压。

  2. 您不能使用正则表达式,因为您期望的文本可能会被分成两个或多个块。您可以尝试每次累积块和执行正则表达式,但如果流的格式不正确(即,不是data uri),您将最终缓冲整个请求并运行正则表达式很多次在兆字节长的字符串上。

  3. 您无法获取任意数据块并执行new Buffer(chunk, 'base64')因为它本身可能无效。示例:new Buffer('AQID', 'base64')产生new Buffer([1, 2, 3]),但Buffer.concat([new Buffer('AQ', 'base64'), new Buffer('ID', 'base64')])产生new Buffer([1, 32])

  4. 对于3问题,您可以使用其中一个可用模块(如base64-stream)。这是一个例子:

    var base64 = require('base64-stream');
    var stream = require('stream');
    
    var decoder = base64.decode();
    var input = new stream.PassThrough();
    var output = new stream.PassThrough();
    
    input.pipe(decoder).pipe(output);
    
    output.on('data', function (data) {
      console.log(data);
    });
    
    input.write('AQ');
    input.write('ID');
    

    你可以看到它缓冲输入并在足够的时候发出data

    至于你需要实现简单流解析器的2个问题。作为一个想法:等待data:字符串,然后缓冲块(如果需要),直到找到;base64,,然后导管到base64-stream