Question

我可以删除小文本文件中的重复条目，但不能删除大文本文件我有一个4MB的文件文件的开头如下所示：

aa
aah
aahed
aahed
aahing
aahing
aahs
aahs
aal
aalii
aalii
aaliis
aaliis
...

我想删除重复项。
例如，“aahed”显示两次，我只希望它出现一次。

无论我尝试过哪种单行程，大名单都不会改变。

如果输入： 排序big_list.txt | uniq |少
我明白了：

aa
aah
aahed
aahed   <-- didn't get rid of it
aahing
aahing   <-- didn't get rid of it
aahs
aahs   <-- didn't get rid of it
aal
...

但是，如果我从这个文本文件的顶部复制一小部分单词并在小块数据上重新运行命令，那就可以达到预期效果。

这些程序是否拒绝排序，因为文件太大了？我不认为4MB非常大。它不输出警告或任何东西。

我很快编写了自己的“uniq”程序，它具有相同的行为。它适用于列表的一小部分，但对4MB文本文件没有任何作用。我的问题是什么？

修改这是一个十六进制转储：

00000000  61 61 0a 61 61 68 0a 61  61 68 65 64 0a 61 61 68  |aa.aah.aahed.aah|
00000010  65 64 0d 0a 61 61 68 69  6e 67 0a 61 61 68 69 6e  |ed..aahing.aahin|
00000020  67 0d 0a 61 61 68 73 0a  61 61 68 73 0d 0a 61 61  |g..aahs.aahs..aa|
00000030  6c 0a 61 61 6c 69 69 0a  61 61 6c 69 69 0d 0a 61  |l.aalii.aalii..a|
00000040  61 6c 69 69 73 0a 61 61  6c 69 69 73 0d 0a 61 61  |aliis.aaliis..aa|

61 61 68 65 64 0a
a  a  h  e  d  \r

61 61 68 65 64 0d
a  a  h  e  d  \n

解决：不同的行分隔符

Answer 1

sort(1)命令接受-u选项以获得密钥的唯一性。

只需使用

 sort -u big_list.txt

Answer 2

您可以规范化行间距（将CR + LF转换为LF）：

sed 's/\r//' big_list.txt | sort -u

Answer 3

回答max taldykin关于awk '!_[$0]++' file的问题：

awk '!_[$0]++' file与

相同

awk '!seen[$0]++' file

，与

相同

awk '!seen[$0]++ { print; }' file

，表示

awk '
    {
        if (!seen[$0]) {
            print;
        }
        seen[$0]++;
    }' file

重点：

$0表示当前记录，通常是当前行
在awk中， ACTION 部分是可选的，默认操作为{ print; }
在算术上下文中，未初始化的var为0

Answer 4

除sort -u外，您还可以使用awk '!_[$0]++' yourfile

“sort filename | uniq”不适用于大文件

4 个答案: