检索node.js中特定用户的最后3200条推文

时间:2013-01-10 13:21:57

标签: node.js twitter

我是javascript和node.js的新手,这是我的第一篇文章,所以请耐心等待。

我正在使用ntwitter获取特定用户以前的所有推文。

我的问题是,如果用户有超过200条推文,我需要创建一个循环,我不确定我是否正确。

这是获取200条最新推文的异步函数:

exports.getUserTimeline = function(user, callback) {

  twit.getUserTimeline({ screen_name: user, count: 200 }, function(err, data) {
    if (err) { 
      return callback(err);
    }
    callback(err, data);  
  });
}

我找到了一个使用递归函数执行此操作的解决方案,但它非常难看......我该如何改进它?

exports.getUserHistory = function(user, callback) {
  recursiveSearch(user, callback);
  function recursiveSearch(user, callback, lastId, data) {
    var data = data || []
      , args = {screen_name: user, count: 200};

    if(typeof lastId != "undefined") args.max_id = lastId;

    twit.getUserTimeline(args, function(err, subdata) {
      if (err) { 
        console.log('Twitter search failed!');
        return callback(err);
      }
      if (data.length !== 0) subdata.shift();
      data = data.concat(subdata);
      var lastId = parseInt(data[data.length-1].id_str);
      if (subdata.length !== 0) {
        recursiveSearch(user, callback, lastId, data);
      } else {
        callback(err, data);
      }
    });
  }
}

非常感谢!


更新:这是hunterloftis建议的改进(重构)功能,有两处修改:

  1. 属性max_id不应在第一次迭代中指定
  2. 用户存在但未发布推文的情况必须处理
  3. 代码:

    function getUserHistory(user, done) {
      var data = [];
      search();
    
      function search(lastId) {
        var args = {
          screen_name: user,
          count: 200,
          include_rts: 1
        };
        if(lastId) args.max_id = lastId;
    
        twit.getUserTimeline(args, onTimeline);
    
        function onTimeline(err, chunk) {
          if (err) {
            console.log('Twitter search failed!');
            return done(err);
          }
    
          if (!chunk.length) {
            console.log('User has not tweeted yet');
            return done(err);
          }
    
          //Get rid of the first element of each iteration (not the first time)
          if (data.length) chunk.shift();
    
          data = data.concat(chunk);
          var thisId = parseInt(data[data.length - 1].id_str);
    
          if (chunk.length) return search(thisId);
          console.log(data.length + ' tweets imported');
          return done(undefined, data);
        }
      }
    }
    

    在检索推文时,我注意到我的推文计数并不总是与用户的'statuses_count'属性相同。花了一些时间才弄清楚这个差异对应于删除的推文数量:)

1 个答案:

答案 0 :(得分:1)

你的递归函数是否有效?对我来说看起来不太糟糕。我可能会稍微重构一下这样的事情:

function getUserHistory(user, done) {
  var data = [];
  search();

  function search(lastId) {
    var args = {
      screen_name: user,
      count: 200,
      max_id: lastId
    };

    twit.getUserTimeline(args, onTimeline);

    function onTimeline(err, chunk) {
      if (err) {
        console.log('Twitter search failed!');
        return done(err);
      }

      if (data.length) chunk.shift(); // What is this for?
      data = data.concat(chunk);
      var thisId = parseInt(data[data.length - 1].id_str);

      if (chunk.length) return search(thisId);
      return done(undefined, data);
    }
  }
}