我想删除重复的行

时间:2015-10-26 09:45:25

标签: jet

我有一个大文件(7百万行),其中一些行重复,我想删除重复的行。出于这个原因,我使用了:

sort {file-name} | uniq -u> data.txt

但我在新文件中再次看到了重复的数据:例如:

14693 10167 184228271 184227954 184227954 2001 1 1 6 0 0 0 0 0.5 0 0 1 1700 0 0 0 -99
14694 10167 184228271 184227954 184227954 2001 1 1 6 0 0 52816 0 0.5 0 0 1 1700 41.91 1756.45 73612.74 -99 

但是2行有不同的列,可能是因为这个主题?

请帮助我删除我文件中的重复行。

此致 雅亚

0 个答案:

没有答案