根据一列的重复条目删除重复的行

Question

我在一个文本文件中包含以下内容。第三列中有一些重复的条目。我想删除基于第三列的重复行。

Row file:
2018-01-21 00:43:46,25,aabbtd,281727,223,01939900349
2018-01-21 00:43:41,26,aabbtd,281725,229,01939900348
2018-01-21 00:43:43,23,aabbtd,2817276,226,01939900345
2018-01-21 00:43:43,28,aa454,2817275,224,01939900344
2018-01-21 00:43:44,22,aa454,2817272,222,01939900341

Required file format:
2018-01-21 00:43:46,25,aabbtd,281727,223,01939900349
2018-01-21 00:43:43,28,aa454,2817275,224,01939900344

Answer 1

您可以使用awk来做到这一点。

awk -F',' '!seen[$3]++' filename

应该为您工作。

-F定义分隔符

$ 3保存第3列的内容

在Solaris上，使用/ usr / bin / nawk或/ usr / xpg4 / bin / awk