在CentOS中合并大量CSV文件?

时间:2014-10-14 18:31:04

标签: linux csv

我有一台CentOS机器,我想结合.csv数据。

我有数以千计的小文档都有相同的列信息。

我如何将所有这些文件组合成最大20Mb的文件?

例如1.csv会合并前几个文件,一旦达到20Mb限制,数据将继续进入2.csv,依此类推。

非常感谢任何帮助

3 个答案:

答案 0 :(得分:0)

如果他们没有标题,就像这样简单;

$ cat *.csv > combined.csv

可以工作(我们在包含文件的目录中运行(假设您希望它们按照ls *.csv返回的顺序))。

答案 1 :(得分:0)

您可以使用简单的tail命令实现您想要的目标:

tail -q -n+2 *.csv

您只需要在之后添加正确的标题列。

答案 2 :(得分:-1)