Sublime Text 2 - 删除列表中重复单词的行

Question

如何删除一个单词（而不是数字）相同的所有行，我该怎么办？这是一个例子：

4,5876746600174000,dog 
4,5876736392287000,nacho 
4,5876692287755000,dog 
4,5876684072439000,tree
4,5876692287773600,dog
4,5876692879655000,dog 
4,5876692434755000,frog

我想让它自动删除每一行＆＃34; dog＆＃34;之后已经提到过一次，包括所有内容......任何想法？它显然是一个csv文件，所以也许它更快开放办公室？

Answer 1

要忽略第3个字段的重复行，您可以使用：

sort -t, -k3 file.csv|sort -t, -k3 -u

会给你：

4,5876692287755000,dog
4,5876692434755000,frog
4,5876736392287000,nacho
4,5876684072439000,tree

请勿尝试仅使用一个sort缩短时间，因为sort -t, -k3 -u file.csv会给您不同的结果：

4,5876746600174000,dog
4,5876692434755000,frog
4,5876736392287000,nacho
4,5876684072439000,tree

注意dog行的第二个字段具有不同的值（它忽略除dog的最后一行之外的所有行

我认为将CSV文件导入某个数据库（sqlite？）应该也不错。您可以使用SELECT制作GROUP BY。