用于独特设置的标准unix工具

Question

以下python脚本打印文件中第一次出现的行。

#!/usr/bin/env python
import sys

x = set() 

for line in sys.stdin:
    if line not in x:
        print line,
        x.add(line)

uniq仅适用于相邻行。将要使用的文件非常大，因此sort | uniq并不理想。是否有标准工具可以做到这一点？

Answer 1

你试过sort -u吗？至少这是uniq man page所暗示的。

Answer 2

使用awk

awk '!x[$0]++' file.old > file.new