Question

我需要按定义的顺序处理数百个JSON文件，并按照与JSON文件相同的顺序将内容写回CSV：

用标题写一个CSV文件
收集要处理的JSON文件数组
读取文件并返回包含所需信息的数组
将在＃1下创建的CSV文件附加到信息中
在步骤＃3继续下一个JSON文件

'use strict';
const glob = require('glob');
const fs = require('fs');
const fastcsv = require('fast-csv');
const readFile = require('util').promisify(fs.readFile);

function writeHeader(fileName) {
  return new Promise((resolve, reject) => {
    fastcsv
      .writeToStream(fs.createWriteStream(fileName), [['id', 'aa', 'bb']], {headers: true})
      .on('error', (err) => reject(err))
      .on('finish', () => resolve(true));
  });
}

function buildFileList(globPattern) {
  return new Promise((resolve, reject) => {
    glob(globPattern, (err, files) => {
      if (err) {
        reject(err);
      } else {
        resolve(files);
      }
    });
  });
}

function readFromFile(file) {
  return new Promise((resolve, reject) => {
    readFile(file, 'utf8', (err, data) => {
      if (err) {
        reject(err);
      } else {
        const obj = JSON.parse(data);
        const key = Object.keys(obj['776'])[0];
        const solarValues = [];
        obj['776'][key].map((item, i) => solarValues.push([i, item[0], item[1][0][0]]));
        resolve(solarValues);
      }
    });
  });
}

function csvAppend(fileName, rows = []) {
  return new Promise((resolve, reject) => {
    const csvFile = fs.createWriteStream(fileName, {flags: 'a'});
    csvFile.write('\n');
    fastcsv
      .writeToStream(csvFile, rows, {headers: false})
      .on('error', (err) => reject(err))
      .on('finish', () => resolve(true));
  });
}

writeHeader('test.csv')
  .then(() => buildFileList('data/*.json'))
  .then(fileList => Promise.all(fileList.map(item => readFromFile(item))))
  .then(result => Promise.all(result.map(item => csvAppend('test.csv', item))))
  .catch(err => console.log(err.message));

JSON示例：

https://gist.github.com/Sineos/a40718c13ad0834b4a0056091e3ac4ca

https://gist.github.com/Sineos/d626c3087074c23a073379ecef84a55c

问题

虽然代码基本上可以正常工作，但我的问题是CSV不是以定义的顺序写回，而是像异步过程中那样混在一起。

我尝试了有无Promise.all的各种组合，导致未完成的承诺或CSV文件混淆。

这是我对Node.js Promises的第一次尝试，因此，非常感谢您对如何正确执行它的所有投入。预先非常感谢。

Answer 1

此代码应按顺序处理您的文件，我们将使用async / await并让.. of依次循环：

async function processJsonFiles() {
    try {
        await writeHeader('test.csv');
        let fileList = await buildFileList('data/*.json');
        for(let file of fileList) {
            let rows = await readFromFile(file);
            await csvAppend('test.csv', rows);
        }
    } catch (err) {
        console.error(err.message);
    }
}

processJsonFiles();

Node.js：按定义的顺序返回承诺

1 个答案: