从文件中查找唯一值

Question

我有一个6 MB大小的csv文件。我想通过A列和A列过滤数据。 C列，以便我需要删除任何重复项。什么是最简单的方法，以及如何做到这一点。非常感谢任何帮助。

Answer 1

cat foo.csv | cut -f2 -d , | sort | uniq

它将为您提供第二栏中的唯一ID

cat foo.csv | cut -f1 -d , | sort | uniq

它将为您提供第1列中的唯一ID

-f < number > : column number

-d  < space >< delimiter > : file delimiter 

Answer 2

使用cut或awk选择字段。排序和uniq删除重复项。例如

awk -F"," '{print $1}' A.csv|sort|uniq