sort和uniq csv文件

时间:2011-06-13 02:22:11

标签: sorting duplicates uniq

使用linux命令, 我有一个引用的csv文件,我按第一列和第二列排序,现在我想删除它们在第一列和第二列匹配的重复项,如何做到这一点? uniq似乎不够,或者是吗?

2 个答案:

答案 0 :(得分:1)

你可以反转(转)文件,然后unq忽略前N-2个字段(除了前两列之外的所有字段),然后再转动。

rev | uniq -f N-2 -u | rev

答案 1 :(得分:0)

好的,我现在更清楚你需要什么。用awk怎么样?

  

http://www.unix.com/shell-programming-scripting/62574-finding-duplicates-columns-removing-lines.html