使用空格在CSV文件中查找重复项

时间:2017-10-02 15:55:31

标签: linux csv uniq

我想在CSV文件中找到包含空格和换行符的重复项。 sort -uuniq(在已排序的文件中)由于空格和/或数据而炸弹。

数据类似于:

1,"foo","foo bar",false
2,"baz","bat",true
5,,"something with a space
and a newline.",false

即逗号分隔,用换行符划分行。

数据的任何列都可以包含空格,因此使用sort -uuniq并指定密钥不是一个选项。

最终排序顺序并不重要。

0 个答案:

没有答案