查找并删除不同.txt文件中的重复条目并创建一个文件

Question

我有一个 Ubuntu 桌面。有一个包含90个 .txt 或 .dic 文件的文件夹。现在我必须创建一个包含所有90个文件且没有重复文件的巨大.txt文件。

例：
-wordlist1.txt
-wordlist2.txt
-wordlist3.txt
-names1.dic
-names2.dic

最后我需要1 TOTAL.txt 文件。

Answer 1

我会建议使用Python，但在所有语言中你都应该这样做：

open output file
for each file in folder
    open file
    for each line in current file
        if line not in array_lines
             write line to output file
             add line to array_lines
    close file
close output file

我建议使用Python，因为它非常适合文本文件，你实际上可以编写像＃34;如果行不在array_lines＆＃34;它会起作用......它与这个伪代码非常相似。