正确使用awk，sort和uniq

Question

我正在处理大型（500MB +）.csv文件。我想一次打印一页给定列的唯一值，以便于查看。

awk F, '{print $}' sort | uniq

这会产生一个快速滚动的列表，它会截断我感兴趣的75％的值。

Answer 1

尝试下面的awk命令，它将保留原始顺序以导出＃1列上的唯一（您可以轻松调整到其他列）

awk -F, '!a[$1]++' file

如果你需要对结果进行排序，那么在awk之后添加sort命令，这将为你节省大量时间。

 awk -F, '!a[$1]++' file |sort