读取CSV文件并使用websockets定期发送数据(Node,Socket.io)

时间:2013-07-18 08:19:08

标签: node.js csv express websocket

我对Node和Express.js比较陌生。我正在尝试创建一个websocket服务器,以不规则的间隔推送存储在文件本身中的CSV数据,一行一行。 CSV结构是这样的: [timeout [ms],data1,data2,data3 ...]

我已经成功创建了一个与客户端通信的websocket服务器。

我正在寻找有效做这样的事情的最佳解决方案: 1.读取CSV文件的一行 2.使用WebSockets发送一行 3.暂停读数一段时间,存储在行的第一个值中 4.在间隔过去后恢复读数,然后返回步骤1.

到目前为止,我已经做到了这一点(请随意将我的代码完全丢弃,因为它可能是非常错误的 - 正如我所说,我是新手。看起来暂停()似乎没有做任何事情。

var $    = require('jquery')
,csv = require('csv');

exports.index = function(server){
  var io   = require('socket.io').listen(server);

  io.sockets.on('connection', function (socket) {

  socket.on('startTransmission', function(msg) {
    csv()
    .from.path('C:/dev/node_express/csv/test.csv', { delimiter: ',', escape: '"' })
    .on('record', function(row,index){
      var rowArray = $.parseJSON(JSON.stringify(row));
      var json = {},
          that = this;
        $.each(rowArray, function(i,value){
          json[keys[i]] = value;
        });
        socket.emit('transmitDataData', json);
        //this.pause(); //I guess around here is where I'd like to pause 
        // setTimeout(function(){
        //   that.resume();  //and resume here after the timeout, stored in the first value (rowArray[0])    
        // }, rowArray[0]);

    });
});
});
};

遗憾的是,注释掉的代码不起作用 - 所有数据都是立即发送,一行一行,函数不会暂停

1 个答案:

答案 0 :(得分:0)

我遇到了与另一个用例相同的事情。问题是在流上调用pause()会暂停基础流读取但不会暂停csv记录解析,因此可以使用构成最后一个读取流块的其余记录来调用record事件。在我的情况下,我同步它们,就像这样:

var rows=0, actions=0;

stream.on('record', function(row, index){                                                                 

    rows++;                                

    // pause here, but expect more record events until the raw read stream is exhausted
    stream.pause();

    runner.do(row, function(err, result) {                                                 

        // when actions have caught up to rows read, read more rows.
        if (actions==rows) {
            stream.resume();
        }                    
    });
});

在你的情况下,我会缓冲行并用计时器释放它们。这是一个未经测试的重新分解,只是为了让您了解我的意思:

var $ = require('jquery'),
    csv = require('csv');

exports.index = function(server){

  var io = require('socket.io').listen(server);
  io.sockets.on('connection', function (socket) {

      socket.on('startTransmission', function(msg) {

        var timer=null, buffered=[], stream=csv().from.path('C:/dev/node_express/csv/test.csv', { delimiter: ',', escape: '"' });

        function transmit(row) {        
            socket.emit('transmitDataData', row);                                     
        }       

        function drain(timeout) {                                                    
            if (!timer) {
                timer = setTimeout(function() {                                    
                    timer = null;
                    if (buffered.length<=1) { // get more rows ahead of time so we don't run out. otherwise, we could skip a beat.
                        stream.resume(); // get more rows
                    } else {                        
                        var row = buffered.shift();
                        transmit(row);
                        drain(row[0]);                        
                    }

                }, timeout);               
            }                
        }

        stream.on('record', function(row,index){                        
            stream.pause();                                                                                   
            if (index == 0) {                            
                transmit(row);                                               
            } else {                            
                buffered.push(row);                                   
            }                                                       
            drain(row[0]); // assuming row[0] contains a timeout value.                                                                  
        });

        stream.on('end', function() {
            // no more rows. wait for buffer to empty, then cleanup.
        });

        stream.on('error', function() {
            // handle error.
        });

    });
};