Question

我正在尝试在nodejs中构建一个API，它将流式传输针对vertica DB执行的查询的输出。

nodejs中的vertica db驱动程序公开了我正在使用的未缓冲的查询接口。有关详细信息，请参阅： https://github.com/wvanbergen/node-vertica

以下是我的代码：

var vertica = require('vertica');
var Readable = require('stream').Readable;
var rs = new Readable;

var conn = vertica.connect( {
    host: 'hostname',
    user: 'user',
    password: 'password',
    database: 'verticadb'    
});


var q = conn.query('select * from table');

q.on('row', function(row) {
    rs.push(row.join(',') + "\n");
});

q.on('end', function(status) {
    rs.push(null);
    rs.pipe(process.stdout);
    conn.disconnect();
});

q.on('error', function(err) {
    conn.disconnect();
});

它确实返回了相应的输出，但我的理解是它实际上缓冲了row.join(',') + "\n"的输出，并且只有在读取所有行后才将其输出到stdout。我的目标是在读取每一行时将其排出。我应该如何修改我的代码才能使其正常工作？您可以将vertica“row”事件替换为任何可比较的事件。

提前致谢！

附录

我已经设法使用基于https://github.com/substack/stream-handbook上的文档的所谓“经典可读流”来使其工作。

此代码：

var vertica = require('vertica');
var Stream = require('stream');
var stream = new Stream;
stream.readable = true;

var conn = vertica.connect( {
    host: 'hostname',
    user: 'user',
    password: 'password',
    database: 'verticadb'
});


var q = conn.query('select * from affiliate_manager_2');

q.on('row', function(row) {
    stream.emit('data', row.join(',') + "\n");
});

q.on('end', function(status) {
    stream.emit('end'); 
    conn.disconnect();
});

q.on('error', function(err) {
    conn.disconnect();
});

stream.pipe(process.stdout);

然而，这是“旧”的做法，我想知道如何使用“新方法”来做到这一点。

再次感谢

Answer 1

Readable是“抽象的”。它正在寻找一个名为_read的函数，该函数未在默认实现中定义。没有它，它只会缓冲每个push(chunk)，直到它看到push(null)。这就是你在例子中看到的行为。

要获得所需的行为，只需添加_read功能！

以下是您可以适应数据库的示例：

var Readable = require('stream').Readable;

var stream = new Readable;

stream._read = function () {
  var query = …;
  query.on('row', function (row) {
    stream.push(JSON.stringify(row) + '\n');
  });
  query.on('end', function () {
    stream.push(null);
  });
  stream._read = function () {};
};

stream.pipe(process.stdout);

进一步阅读：

NodeJS - 使用流

附录

1 个答案: