标签: linux csv uniq
我想在CSV文件中找到包含空格和换行符的重复项。 sort -u和uniq(在已排序的文件中)由于空格和/或数据而炸弹。
sort -u
uniq
数据类似于:
1,"foo","foo bar",false 2,"baz","bat",true 5,,"something with a space and a newline.",false
即逗号分隔,用换行符划分行。
数据的任何列都可以包含空格,因此使用sort -u或uniq并指定密钥不是一个选项。
最终排序顺序并不重要。