Question

所以我正在创建一个类，并且最终想要创建一个方法，该方法在SFTP服务器上获取文件并生成可以通过管道传输到其他流/函数的读取流。我大部分都在那里，除了我的readStream表现得很奇怪。这是相关的代码：

const Client = require('ssh2').Client,
      Readable = require('stream').Readable,
      async = require('async');

/**
 * Class Definition stuff
 * ......
 */

getStream(get) {
    const self = this;
    const rs = new Readable;
    rs._read = function() {
        const read = this;
        self.conn.on('ready', function(){
            self.conn.sftp(function(err,sftp) {
                if(err) return err;

                sftp.open(get, 'r', function(err, fd){
                    sftp.fstat(fd, function(err, stats) {

                        let bufferSize = stats.size,
                            chunkSize = 512,//bytes
                            buffer = new Buffer(bufferSize),
                            bytesRead = 0;

                        async.whilst(
                            function () {
                                return bytesRead < bufferSize;
                            },
                            function (done) {
                                sftp.read(fd, buffer, bytesRead, chunkSize, bytesRead,
                                function (err, bytes, buff) {
                                    if (err) return done(err);
                                    // console.log(buff.toString('utf8'));
                                    read.push(buff);
                                    bytesRead += bytes;
                                    done();
                                });
                            },
                            function (err) {
                                if (err) console.log(err);
                                read.push(null);
                                sftp.close(fd);
                            }
                        );

                    });
                });
            });
        }).connect(self.connectionObj);
    }
    return rs;

}

在其他地方，我会这样称呼这个方法：

let sftp = new SFTP(credentials);

sftp.getStream('/path/file.csv')
.pipe(toStuff);
.pipe(toOutput);

所以，长话短说。在SFTP.read操作期间，read.push(buff)一遍又一遍地推送文件的第一部分。但是，当我console.log(buff)它正确地传输完整文件？

所以我想知道我在读取流中做错了什么，它只是推动文件的开头而不是继续到缓冲区的下一部分。

以下是SSH2 SFTP客户端上的文档：https://github.com/mscdex/ssh2-streams/blob/master/SFTPStream.md

我使用这个SO问题作为我上面写的内容的灵感：node.js fs.read() example

这类似/相关：Reading file from SFTP server using Node.js and SSH2

Answer 1

好的，经过很多麻烦，我意识到我犯了一些错误。首先，每次流准备好读取更多数据时都会调用_read函数，这意味着每次调用_read时都会启动SFTP连接。这也意味着sftp.read()函数每次都重新开始，将起点重新设置为开头。

我需要一种方法来首先设置连接，然后读取和流式传输文件数据，因此我选择了库noms。如果有人有兴趣，这是最终的代码：

getStream (get) {
    const self = this;

    let connection,
        fileData,
        buffer,
        totalBytes = 0,
        bytesRead = 0;

    return nom(
        // _read function
        function(size, next) {
            const read = this;

            // Check if we're done reading
            if(bytesRead === totalBytes) {
                connection.close(fileData);
                connection.end();
                self.conn.end();
                console.log('done');
                return read.push(null);
            }

            // Make sure we read the last bit of the file
            if ((bytesRead + size) > totalBytes) {
                size = (totalBytes - bytesRead);
            }

            // Read each chunk of the file
            connection.read(fileData, buffer, bytesRead, size, bytesRead,
                function (err, byteCount, buff, pos) {
                    // console.log(buff.toString('utf8'));
                    // console.log('reading');
                    bytesRead += byteCount;
                    read.push(buff);
                    next();
                }
            );
      },
      // Before Function
      function(start) {
          // setup the connection BEFORE we start _read
          self.conn.on('ready', function(){
              self.conn.sftp(function(err,sftp) {
                  if(err) return err;
                  sftp.open(get, 'r', function(err, fd){
                      sftp.fstat(fd, function(err, stats) {
                          connection = sftp;
                          fileData = fd;
                          totalBytes = stats.size;
                          buffer = new Buffer(totalBytes);
                          console.log('made connection');
                          start();
                      });
                  });
              });
          }).connect(self.connectionObj);
      })
}

一直在寻找反馈。这并不像我希望的那样快，所以请告诉我你是否有关于加速流的想法。

SFTP连接中的节点异步ReadStream

1 个答案: