Question

我有一个CSV文件，可以包含大约一百万条记录，如何删除以_开头的列并生成结果csv

为简单起见，请考虑以下csv

Sr.No Col1 Col2 _Col3   Col4 _Col5
1     txt  png  676766  win  8787
2     jpg  pdf  565657  lin  8787
3     pdf  jpg  786786  lin  9898

我希望输出为


Sr.No Col1 Col2 Col4
1     txt  png  win 
2     jpg  pdf  lin 
3     pdf  jpg  lin

我是否需要阅读整个文件才能达到此目的，或者有更好的方法来做到这一点。

const csv = require('csv-parser');
const fs = require('fs');

fs.createReadStream('data.csv')
  .pipe(csv())
  .on('data', (row) => {
    // generate a new csv with removing specific column
  })
  .on('end', () => {
    console.log('CSV file successfully processed');
  });

任何有关如何实现此目标的帮助都会有所帮助。

谢谢。

Answer 1

实际上，您可以通过使用两个npm软件包来解决此问题。

https://www.npmjs.com/package/csvtojson 将您的库转换为JSON格式

然后使用这个 https://www.npmjs.com/package/json2csv

与第二个库一起使用。如果您知道确切的字段是什么。您可以传递参数以专门选择所需的字段。

for(size_t i = 0; i < object_list.size();)
{
 if(object_list[i].hit())
 {
     object_list.erase(object_list.begin() + i);
 }
 else
 {
     object_list[i].draw();
     i++;
 }
}

或者您可以手动修改JSON对象以删除这些列

Answer 2

对于那些偶然发现该帖子的人

我能够使用下面的代码使用fs和csv模块来转换csv。

await fs.createReadStream(m.path)
      .pipe(csv.parse({delimiter: '\t', columns: true}))
      .pipe(csv.transform((input) => {
        delete input['_Col3'];
        console.log(input);
        return input;
      }))
      .pipe(csv.stringify({header: true}))
      .pipe(fs.createWriteStream(transformedPath))
      .on('finish', () => {
        console.log('finish....');
      }).on('error', () => {
        console.log('error.....');
      });

来源：https://gist.github.com/donmccurdy/6cbcd8cee74301f92b4400b376efda1d

Answer 3

用 csv lib 试试这个

const csv = require('csv');
const fs = require('fs');

const csvString=`col1,col2
               value1,value2`

csv.parse(csvString, {columns: true})
   .pipe(csv.transform(({col1,col2}) => ({col1}))) // remove col2
   .pipe(csv.stringify({header:true}))
   .pipe(fs.createWriteStream('./file.csv'))

Answer 4

通过这个函数，我完成了从 CSV 中删除列

removeCol(csv, col) {
   let lines = csv.split("\n");
   let headers = lines[0].split(",");
   let colNameToRemove = headers.find(h=> h.trim() === col);
   let index = headers.indexOf(colNameToRemove);
   let newLines = [];
   lines.map((line)=>{
       let fields = line.split(",");
       fields.splice(index, 1)
       newLines.push(fields)
   })
   let arrData = '';
   for (let index = 0; index < newLines.length; index++) {
       const element = newLines[index];
       arrData += element.join(',') + '\n'
   }
   return arrData;
}

Node.js：从CSV文件中删除特定的列

4 个答案: