我有一个CSV文件,可以包含大约一百万条记录,如何删除以_开头的列并生成结果csv
为简单起见,请考虑以下csv
Sr.No Col1 Col2 _Col3 Col4 _Col5
1 txt png 676766 win 8787
2 jpg pdf 565657 lin 8787
3 pdf jpg 786786 lin 9898
我希望输出为
Sr.No Col1 Col2 Col4
1 txt png win
2 jpg pdf lin
3 pdf jpg lin
我是否需要阅读整个文件才能达到此目的,或者有更好的方法来做到这一点。
const csv = require('csv-parser');
const fs = require('fs');
fs.createReadStream('data.csv')
.pipe(csv())
.on('data', (row) => {
// generate a new csv with removing specific column
})
.on('end', () => {
console.log('CSV file successfully processed');
});
任何有关如何实现此目标的帮助都会有所帮助。
谢谢。
答案 0 :(得分:0)
实际上,您可以通过使用两个npm软件包来解决此问题。
https://www.npmjs.com/package/csvtojson 将您的库转换为JSON格式
然后使用这个 https://www.npmjs.com/package/json2csv
与第二个库一起使用。如果您知道确切的字段是什么。您可以传递参数以专门选择所需的字段。
for(size_t i = 0; i < object_list.size();)
{
if(object_list[i].hit())
{
object_list.erase(object_list.begin() + i);
}
else
{
object_list[i].draw();
i++;
}
}
或者您可以手动修改JSON对象以删除这些列
答案 1 :(得分:0)
对于那些偶然发现该帖子的人
我能够使用下面的代码使用fs
和csv
模块来转换csv。
await fs.createReadStream(m.path)
.pipe(csv.parse({delimiter: '\t', columns: true}))
.pipe(csv.transform((input) => {
delete input['_Col3'];
console.log(input);
return input;
}))
.pipe(csv.stringify({header: true}))
.pipe(fs.createWriteStream(transformedPath))
.on('finish', () => {
console.log('finish....');
}).on('error', () => {
console.log('error.....');
});
来源:https://gist.github.com/donmccurdy/6cbcd8cee74301f92b4400b376efda1d
答案 2 :(得分:0)
用 csv lib 试试这个
const csv = require('csv');
const fs = require('fs');
const csvString=`col1,col2
value1,value2`
csv.parse(csvString, {columns: true})
.pipe(csv.transform(({col1,col2}) => ({col1}))) // remove col2
.pipe(csv.stringify({header:true}))
.pipe(fs.createWriteStream('./file.csv'))
答案 3 :(得分:0)
通过这个函数,我完成了从 CSV 中删除列
removeCol(csv, col) {
let lines = csv.split("\n");
let headers = lines[0].split(",");
let colNameToRemove = headers.find(h=> h.trim() === col);
let index = headers.indexOf(colNameToRemove);
let newLines = [];
lines.map((line)=>{
let fields = line.split(",");
fields.splice(index, 1)
newLines.push(fields)
})
let arrData = '';
for (let index = 0; index < newLines.length; index++) {
const element = newLines[index];
arrData += element.join(',') + '\n'
}
return arrData;
}