使用KnexJS查询X个表?

时间:2017-04-03 21:46:55

标签: mysql arrays node.js promise knex.js

我有一个独特的情况,我无法以优雅的方式解决问题。

用户传递他们想要导出数据的信号数组。该阵列可以是1 - > Any_Number所以首先我根据传递的信号获取表名(每个信号将数据存储在一个单独的表中)并将它们存储在一个对象中。

下一步是迭代该对象(包含我需要查询的表名),对每个表执行查询并将结果存储在一个对象中,该对象将传递给Promise中的下一个链。我没有在网上看到任何处理这个问题的好方法的例子,但我知道这是一个相当独特的场景。

在尝试添加对信号数组的支持之前,我的代码只是以下内容:

exports.getRawDataForExport = function(data) {
  return new Promise(function(resolve, reject) {

    var getTableName = function() {
      return knex('monitored_parameter')
        .where('device_id', data.device_id)
        .andWhere('internal_name', data.param)
        .first()
        .then(function(row) {
          if(row) {
            var resp = {"table" : 'monitored_parameter_data_' + row.id, "param" : row.display_name};
            return resp;
          }
        });
    }

    var getData = function(runningResult) {
      return knexHistory(runningResult.table)
        .select('data_value as value', 'unit', 'created')
        .then(function(rows) {
          runningResult.data = rows;
          return runningResult;
        });
    }

    var createFile = function(runningResult) {

      var fields = ['value', 'unit', 'created'],
          csvFileName = filePathExport + runningResult.param + '_export.csv',
          zipFileName = filePathExport + runningResult.param + '_export.gz';

      var csv = json2csv({data : runningResult.data, fields : fields, doubleQuotes : ''});

      fs.writeFileSync(csvFileName, csv);

      // create streams for gZipping
      var input = fs.createReadStream(csvFileName);
      var output = fs.createWriteStream(zipFileName);

      // gZip
      input.pipe(gzip).pipe(output);

      return zipFileName;

    }

    getTableName()
      .then(getData)
      .then(createFile)
      .then(function(zipFile) {
        resolve(zipFile);
      });
  });
}

显然,对于单个表工作正常,我已经更新了getTableName()和createFile()方法来处理数据数组,所以这个问题只适用于getData()方法。

干杯!

1 个答案:

答案 0 :(得分:1)

这种问题远非独一无二,并且以正确的方式接近,非常简单地解决了。

不要重写三个内部函数中的任何一个。

.getRawDataForExport()清除explicit promise construction antipattern,使其返回一个自然发生的promise,并将异步错误传播给调用者。

return getTableName()
.then(getData)
.then(createFile);

现在,.getRawDataForExport()是您的多个“获取”的基本构建块。

然后,一个设计选择;并行与顺序操作。两者都有很好的记录。

并行:

exports.getMultiple = function(arrayOfSignals) {
    return Promise.all(arrayOfSignals.map(getRawDataForExport));
};

依序:

exports.getMultiple = function(arrayOfSignals) {
    return arrayOfSignals.reduce(function(promise, signal) {
        return promise.then(function() {
            return getRawDataForExport(signal);
        });
    }, Promise.resolve());
};

首先,为获得最佳潜在性能,请尝试并行。

如果服务器在并行操作中窒息或可能会窒息,请选择顺序。