我有多个
形式的csv文件其中每个csv是一个数组，即model1A = [1, 1, 1]
我想解析这些csv并创建一个包含所有这些模型的数组，其中数组中的每个元素都是对应于一个特定模型的对象，即
finalArray = [
{
"model" : "model1",
"A" : [1, 1, 1],
"B" : [2, 2, 2]
},
{
"model" : "model2",
"A" : [3, 3, 3],
"B" : [4, 4, 4]
}
]
到目前为止我的代码是
var csv = require('csv');
var fs = require('fs');
var parser = csv.parse();
var util = require('util');
var junk = require('junk');
var _ = require('lodash');
var models = [];
fs.readdir(__dirname+'/data', function(err, files) {
var model = {};
_.forEach(files, function(n, key) {
console.log('Analysing file: ' + n);
var modelName;
var modelNum;
var modelParam;
modelNum = n.match(/\d+/)[0];
modelName = 'model' + modelNum;
modelParam = (n.substring(0, n.indexOf('.'))).replace(modelName,'');
model.model = modelName;
model[modelParam] = [];
models.push(model);
//if (Object.keys(model).length === 3) {
// models.push(model);
// model = {};
//}
fs.createReadStream(__dirname+'/data/'+n).pipe(csv.parse()).pipe(csv.transform(function(row) {
model[modelParam].push(row);
})).on('readable', function(){
while(this.read()){}
}).on('end', function() {
console.log('finished reading file ' + n);
if (key === (files.length - 1)) {
fs.writeFile('result.json', JSON.stringify(models), function (err) {
if (err) throw err;
console.log(models.length + ' model(s) parsed');
console.log('done');
});
}
}).on('error', function(error) {
console.log(error);
});
});
});
我知道我的一个问题是我很快将模型推送到数组，导致下面的表单的最终数组，其中model1被model2覆盖
[ { model: 'model2', A: [], B: [] },
{ model: 'model2', A: [], B: [] },
{ model: 'model2', A: [], B: [] },
{ model: 'model2', A: [], B: [] } ]
这就是我尝试这段代码的原因
if (Object.keys(model).length === 3) {
models.push(model);
model = {};
}
但当然这不起作用，因为fs.createReadStream是异步的，我正在使用model = {}清除模型，然后才能正常运行。
我现在正处于舞台上，我觉得自己正在四处乱逛，只是让事情变得更糟。我想创建一些更通用的东西，但是，现在我很乐意让它适用于此处提供的案例，然后我可以考虑改进它。
任何帮助都会非常感激！
继saquib khan关于在循环内移动var model = {}的建议有助于让我更接近目标，但它仍然不对。以下是当前结果
[
{
"model": "model1",
"A": [
[
"1"
],
[
"2"
],
[
"3"
],
[
"4"
]
]
},
{
"model": "model1",
"B": [
[
"1"
],
[
"2"
],
[
"3"
],
[
"4"
]
]
},
{
"model": "model2",
"A": [
[
"1"
],
[
"2"
],
[
"3"
],
[
"4"
]
]
},
{
"model": "model2",
"B": [
[
"1"
],
[
"2"
],
[
"3"
],
[
"4"
]
]
}
]
根据Denys Denysiuk的建议，结果更接近我想要的，但仍然只是短暂
[
{
"model": "model1",
"A": [
"1",
"2",
"3",
"4"
]
},
{
"model": "model1",
"B": [
"1",
"2",
"3",
"4"
]
},
{
"model": "model2",
"A": [
"1",
"2",
"3",
"4"
]
},
{
"model": "model2",
"B": [
"1",
"2",
"3",
"4"
]
}
]
如果我可以以某种方式迭代最终的对象数组，合并具有匹配model名称的对象，这将有效。我目前正在查看lodash docs，看看我是否能解决问题。如果我这样做，我会在这里回复。
答案 0 :(得分：3)
您的代码中存在非常小的编码错误。
var model = {}; 应该在forEach循环中。
尝试以下代码：
var csv = require('csv');
var fs = require('fs');
var parser = csv.parse();
var util = require('util');
var junk = require('junk');
var _ = require('lodash');
var models = [];
fs.readdir(__dirname+'/data', function(err, files) {
_.forEach(files, function(n, key) {
console.log('Analysing file: ' + n);
var model = {};
var modelName;
var modelNum;
var modelParam;
modelNum = n.match(/\d+/)[0];
modelName = 'model' + modelNum;
modelParam = (n.substring(0, n.indexOf('.'))).replace(modelName,'');
model.model = modelName;
model[modelParam] = [];
models.push(model);
//if (Object.keys(model).length === 3) {
// models.push(model);
// model = {};
//}
fs.createReadStream(__dirname+'/data/'+n).pipe(csv.parse()).pipe(csv.transform(function(row) {
model[modelParam].push(row);
})).on('readable', function(){
while(this.read()){}
}).on('end', function() {
console.log('finished reading file ' + n);
if (key === (files.length - 1)) {
fs.writeFile('result.json', JSON.stringify(models), function (err) {
if (err) throw err;
console.log(models.length + ' model(s) parsed');
console.log('done');
});
}
}).on('error', function(error) {
console.log(error);
});
});
});
答案 1 :(得分：2)
试试这个：
fs.readdir(__dirname+'/data', function(err, files) {
_.forEach(files, function(n, key) {
console.log('Analysing file: ' + n);
var modelNum = n.match(/\d+/)[0];
var modelName = 'model' + modelNum;
var modelParam = (n.substring(0, n.indexOf('.'))).replace(modelName,'');
var model = {};
var isNewModel = true;
for(var i = 0; i < models.length; i++) {
if(models[i].model == modelName) {
model = models[i];
isNewModel = false;
break;
}
}
if(isNewModel) {
model.model = modelName;
models.push(model);
}
model[modelParam] = [];
fs.createReadStream(__dirname+'/data/'+n).pipe(csv.parse()).pipe(csv.transform(function(row) {
model[modelParam].push(row[0]);
})).on('readable', function(){
while(this.read()){}
}).on('end', function() {
console.log('finished reading file ' + n);
if (key === (files.length - 1)) {
fs.writeFile('result.json', JSON.stringify(models), function (err) {
if (err) throw err;
console.log(models.length + ' model(s) parsed');
console.log('done');
});
}
}).on('error', function(error) {
console.log(error);
});
});
答案 2 :(得分：1)
Node.js是事件驱动的，所以也许您可以使用事件模块建立代码：https://nodejs.org/api/events.html
您的问题似乎是在覆盖阵列中的先前条目，所以也许您应该进入下一步（阅读其他CSV？）只有在前一个步骤完成后才能编写所需的一切。
您可以使用Event将此逻辑添加到您的代码中。