我有一个大文件,其中包含第一列中的ID号,后续列中包含其他唯一信息。每个ID号在文件中多次出现:
000112 3489 A-8 40984
000112 4743 A-7 94587
000112 5894 A-1 45795
000177 8347 A-2 54575
000177 5843 B-5 94342
000177 5684 A-4 76544
000177 6586 C-2 65834
000226 5679 C-2 85795
000226 5456 C-1 45876
000226 9899 A-2 56834
我想输出一个文件,其中只包含每个ID号的前两次出现的行:
000112 3489 A-8 40984
000112 4743 A-7 94587
000177 8347 A-2 54575
000177 5843 B-5 94342
000226 5679 C-2 85795
000226 5456 C-1 45876
请注意,此数据仅代表输入文件的一小部分,因此需要输入特定字符串(ID号)的命令不是我正在寻找的。谢谢!
答案 0 :(得分:1)
awk 'a[$1]++ < 2' input-file
应该做的伎俩。只需读取文件并增加由第一列中的值索引的数组。如果该值小于2,则打印该行。当你第三次看到相同的id时,数组中的索引将是2,并且该行的输出将被抑制。
答案 1 :(得分:0)
这不是很漂亮,但会产生所需的输出:
第1步:
awk '!seen[$1]++' input.file > output1
第2步:
grep -v -F -f output1 input.file | awk '!seen[$1]++' > output2
第3步:
cat output1 output2 | sort -k 1 > desired.output