Question

nodejs服务器从Twitter获取此JSON流并将其发送到客户端：

stream.twitter.com/1/statuses/filter.json?track=gadget

返回给客户端的数据是“chunked”JSON，客户端的JSON.parse（chunk）和eval（'（'+ chunk +'）'）都会导致解析错误。连接掉的碎片并等待'结束'事件也不是解决方案

我注意到以前的样本在客户端使用了类似的东西，显然在以前工作过：

  socket.onmessage = function(chunk) { 
  data = eval("(" + chunk.data + ")");
  alert(data.user.screen_name);

我在客户端使用它，导致解析错误：

var socket = new io.Socket();
    socket.on('message', function(chunk) { 
    var data = eval('(' + chunk + ')'); // parsing error
    alert(data.screen_name):

我知道它成功返回了一个JSON块：

  var socket = new io.Socket();
        socket.on('message', function(chunk) {  
        alert(chunk): // shows a JSON chunk

服务器：

  response.on('data', function (chunk) {
    client.each(function(e) {
      e.send(chunk);  
  });

有什么改变或者我做错了什么？

更新：“结束”事件因为流媒体而无法触发？

http.get({
  headers: { 'content-type': 'application/json' },
  host: 'stream.twitter.com',
  path: '/1/statuses/filter.json?track...
}, function(res) {

  res.setEncoding('utf8');
  res.on('data', function (chunk) {
    client.each(function(e) {
      e.send(chunk);  
  });  
 });

  // does not fire
  res.on('end', function () {

  });  

...

我正在研究与http 1.0和http 1.1的区别，就发送分块数据而言。

Answer 1

请查看Twitter文档中标题为Parsing Responses的部分。

解析来自Streaming API的JSON响应很简单，每个对象都在自己的行上返回，并以回车结束。换行符（\ n）可能出现在对象元素（例如状态对象的文本元素）中，但回车符（\ r）不应该出现。

在服务器端，继续累积块，直到看到回车"\r"。找到回车后，将字符串提取到回车符，这会给我们一条推文。

var message = ""; // variable that collects chunks
var tweetSeparator = "\r";

res.on('data', function(chunk) {
    message += chunk;

    var tweetSeparatorIndex = message.indexOf(tweetSeparator);
    var didFindTweet = tweetSeparatorIndex != -1;

    if (didFindTweet) {
        var tweet = message.slice(0, tweetSeparatorIndex);
        clients.forEach(function(client) {
            client.send(tweet);
        });
        message = message.slice(tweetSeparatorIndex + 1);
    }
});

客户变得简单。只需将套接字消息完整地解析为JSON。

socket.on('message', function(data) {
    var tweet = JSON.parse(data);
});

Answer 2

@Anurag我不能添加评论，而不是

if (chunk.substr("-1") == "\r")

它应该是：

if ( chunk.charCodeAt(chunk.length-2) == 13 )

回车不是最后一个字符。

Answer 3

我建议将响应传递给JSON解析器。您可以使用此：https://github.com/dominictarr/JSONStream

nodejs - 解析chunked twitter json

3 个答案: