从Notepad ++中删除重复的行

Question

我正在寻找一种从我的Notepad ++文件中删除重复行的方法。每个行的行不完全相同。这是情况。我有一个大概率公司名称的大文件，其概率值也是如此（每个都由一个标签分隔）。所以格式如下：

ATT   .7213
SAMSUNG   .01294
SAMSUNG   .90222

因此，我需要删除其中一行，因为第一列中存在匹配项。只要我最后得到一行，我就不会偏好我需要删除哪一个。我试图使用TextFX进行独特排序，但它正在寻找整行重复，而不仅仅是第一列。如果有人能提供一个方便的解决方案来解决这个问题，我将非常感激。使用awk，sed或cut的Bash脚本答案也是可以接受的，也可以使用正则表达式。

谢谢！

Answer 1

使用awk，您可以说：

awk '!a[$1]++' filename

这将保留仅具有第一个字段的唯一值的行。

Answer 2

使用sort：

sort -k1,1 -u companies.txt

输出将包含整行，但只会考虑排序键（第一个字段）来识别重复项。