如何删除非常大的数据文件的每一行?

时间:2016-12-18 20:31:25

标签: csv notepad++ large-files

我有一个非常大的.csv文件,其中包含1000万行数据。文件大小约为250 MB。每行包含三个值,如下所示:

-9.8199980e-03183,-4.32

我想删除每一行或例如将每10行直接复制到一个新文件中。我应该使用哪个程序,你也可以发布代码吗?

我用Scilab和Excel尝试过它;他们无法打开文件或只打开文件的一小部分。我可以在Notepad ++中打开该文件,但是当我尝试记录并运行一个删除每一行的宏时,它就崩溃了。

1 个答案:

答案 0 :(得分:2)

我建议你从here 安装 gawk / awk ,并利用这个出色工具的强大功能。

如果你想要其他每一行:

gawk "NR%2" original.csv > new.csv

如果你想要每10行:

gawk 'NR%10==0" original.csv > new.csv