Concat将数据流式传输到单个文件或字符串,同时使用节点

时间:2017-04-30 14:07:16

标签: javascript node.js

我正在使用yauzl节点模块。我从Zip文件中提取XML文件。在读取条目时,在readSteam.on('data')回调函数内,我正在记录entry.filename及其内容为字符串。但是,有些文件会被粉碎成多个文件。这些部分共享fileName。每个部分都包含部分文件内容。

  let options = {
    lazyEntries: true
  }
  yauzl.open(params.pathToZip, options, function(err, zipfile) {
    if(err) throw err
    zipfile.readEntry()
    zipfile.on("error", function(err) {
      throw err
    })
    zipfile.on("entry", function(entry) {
      if (/\/$/.exec(entry)) return false

      zipfile.openReadStream(entry, options, (err, readStream) => {
        if (err) throw err
        readStream.on('data', data => {
          console.log(entry.fileName)
          console.log(data.toString())
        })
      })
      zipfile.readEntry()
    });
    zipfile.once("end", function() {
      console.log('END EVENT CALLBACK')
      zipfile.close()
    });
  });

是否有内置方法可以将这些字符串(通过知道它们共享相同的文件名)连接成单个文件或字符串,然后可以将其解析为一个。

如果使用substr)方法(例如console.log(data.toString().substr(0,10))

Log看起来像这样)(因为我们只关心每个数据文件的前几个字符以用于表示):

TH/CJM/CJM00083_en.xml
<hotel des
TH/CJM/CJM0007V_en.xml
<hotel des
TH/CJM/CJM0007V_en.xml
vel.com/HH
TH/CJM/YYY1RHVV_en.xml
<hotel des
TH/CJM/YYY1RHVV_en.xml
om/hotels/
TH/CJM/YYY0DJJ2_en.xml
<hotel des
TH/CJM/CJM0005P_en.xml
<hotel des

如日志所示,数据被粉碎时会重复文件名。

2 个答案:

答案 0 :(得分:1)

您可以创建一个普通对象或Map,其中属性名称是文件名。如果属性名存在且等于当前文件名,则将当前文件的文本连接到对象的属性值,否则创建一个新属性设置为当前文件名,将属性值设置为文件内容;重复过程,直到所有文件都被处理完毕。

if (obj.hasOwnProperty(fileName)) { obj[fileName] += fileContents } 
else { obj[fileName] = fileContents }

答案 1 :(得分:1)

您应该等待发出'end' event

zipfile.openReadStream(entry, options, (err, readStream) => {
  if (err) throw err;
  var str = '';
  readStream.on('data', data => {
    str += data.toString();
  });
  readStream.on('end', function() {
    console.log(entry.fileName);
    console.log(str);
    // Next entry...
    zipfile.readEntry();
  });
});