查找大型文本文件中是否存在一组行

时间:2015-10-14 06:58:28

标签: python linux windows bash shell

如何找到Windows中2个文件的交集?

TextFile A:100GB TextFile B:10MB

我能想到的就是使用python

我会将文本文件B中的行读入python中的内存并与文本文件A中​​的每一行进行比较。

我想知道是否有办法通过linux / windows中的命令提示符来完成。

1 个答案:

答案 0 :(得分:1)

如果重复无关紧要,那么此命令将执行此操作:

sort <(sort file1 | uniq) <(sort file2 | uniq) | uniq -d