Question

我正在尝试使用音乐会数据的ATOM源并将其输出到JSON以获得更好的消费。

到目前为止，我一直在使用request来获取数据，并feedparser通过它进行解析，它似乎正在按照我的意愿运行。

// data
var feed = 'http://mix.chimpfeedr.com/630a0-dcshows';
var wstream = fs.createWriteStream('data.json');

var req = request(feed);
var feedparser = new FeedParser({
        addmeta: false
    });

req.on('response', function(res) {
    var stream = this;
    if (res.statusCode != 200) return this.emit('error', new Error('Bad status code'));
    stream.pipe(feedparser)
});

feedparser.on('readable', function() {
    var stream = this;
    var item;

    // ... do some business work to get a `data` object

    wstream.write( JSON.stringify(data) + ',' );
});

这会写一个文件，它实际上是这些数据对象的连接列表：

{
    object1
}, {
    object2
}, {
    etc
},

这很酷但是我希望将它包装在一个数组中，我希望最后一项没有后面的逗号。我敢肯定有一些方法可以解决这个问题，但我认为我错过了流方法的核心概念以及实际发生的事情。

所以我的问题是：如何操作可读流（XML）并输出有效JSON数组？

Answer 1

您的方法的问题可能是您在流中放置的每个JSON元素的末尾添加逗号。此方法失败，因为您无法确定是否会有更多数据来自读取流。

因此，更好的方法是在JSON元素的开头添加逗号，但前提是您已经处理过至少一个元素。对于这个问题，您可以使用一个标志或变量来计算您已处理的元素数量，并根据该数量决定您是否正在处理第一个元素。

如果您位于第一个元素，则将"["添加到流中，以表示数组的开头，然后将第一个元素添加到写入流中。如果你没有处理第一个元素，那么这意味着你在第二个，第三个或第n个元素，在这种情况下，你首先添加一个逗号，然后是你的元素。

最后，在读取流上为'end'事件添加一个侦听器，这样，当您到达数据末尾时会收到通知，然后您可以添加写入流的结束括号"]"并完成一个有效的json数组。

我使用硬盘中的一些本地数据创建了此示例的简化版本。我很确定你可以根据你的情况调整它。

var FeedParser = require('feedparser'),
    fs = require('fs'), 
    feed = __dirname+'/rss2sample.xml';

var ws = fs.createWriteStream('data.json');
var first = true;
fs.createReadStream(feed)
  .on('error', function (error) {
    console.error(error);
  })
  .pipe(new FeedParser())
  .on('error', function (error) {
    console.error(error);
  })
  .on('readable', function() {
    var stream = this, item;
    while (item = stream.read()) {
      if(first){
        ws.write('[');
        first = false;
      } else {
        ws.write(',');
      }
      ws.write(JSON.stringify(item));
    }
  })
  .on('end', function(){
    ws.write(']');
  });

这会生成一个有效的json文件。

如何使用nodejs将可读流转换为有效的JSON？

1 个答案: