如何使用awk按列匹配时删除原始行和重复行?

时间:2013-01-18 23:36:22

标签: linux shell awk

我已经找到了我的问题的部分答案,但我无法弄清楚其余的问题。我正在使用awk。我可以使用以下命令删除原始行和重复行:

awk 'NR==FNR{a[$0]++;next} a[$0]<2' infile infile

然而,这需要复制整行。有人在第1列匹配时知道如何删除原始行和重复行吗?

我试过这个

awk 'key[$1]; NR==FNR{a[$0]++;next} a[$0]<2' infile infile

但这并没有让我任何地方。我有一个包含以下类型数据的文件:

srv13108 f15001:/export/rack131/srv13108
srv13407 f15001:/export/rack134/srv13407
srv13501 f13901:/export/rack135/srv13501
srv13501 f14001:/export/rack135/srv13501
srv13609 f14901:/export/rack136/srv13609 
srv14407 f14101:/export/rack144/srv14407

我希望输出为:

srv13108 f15001:/export/rack131/srv13108
srv13407 f15001:/export/rack134/srv13407
srv13609 f14901:/export/rack136/srv13609
srv14407 f14101:/export/rack144/srv14407

由于2行有匹配的列1.

1 个答案:

答案 0 :(得分:4)

你需要awk on-liner吗?

awk '{a[$1]=$0;u[$1]++}END{for(i in u)if(u[i]==1)print a[i]}'  file

给出:

srv13609 f14901:/export/rack136/srv13609
srv13108 f15001:/export/rack131/srv13108
srv13407 f15001:/export/rack134/srv13407
srv14407 f14101:/export/rack144/srv14407