如何在文件中找到重复的重复内容

Question

如何查找我的文件是否有重复重复。 ？

我的许多vi文件都有大量的分子坐标，有时候，我使用的软件会在第一个上面复制分子坐标，但是只有当我开始在模拟中使用分子时才会注意到，我知道这个文件有一个重复的共同主张。

使用普通的grep，我需要测试每一行，看看是否找到了一个模式。

相反，有更好的方法吗？

前：

C          8.72073       15.19207       10.44503

C          9.57223       14.02835       10.59743

C         10.54225       13.88199        9.86998

在文件中重复

Answer 1

使用sort和uniq以及sed清除输出：

示例：

echo -e 'a\nb\nc\na\nb'
a
b
c
a
b

echo -e 'a\nb\nc\na\nb' | sort | uniq -c
      2 a
      2 b
      1 c

echo -e 'a\nb\nc\na\nb' | sort | uniq -c | sed -re '/^\s+1\s+/d; s/^\s+[0-9]+\s+//g'
a
b