从除一组文件之外的所有文件中删除重复的行?

时间:2017-05-09 08:00:24

标签: shell scripting

我希望能够将多个文本文件提供给某些命令,并从除了其中一个文件之外的所有文件中删除重复的行...任何想法?

澄清 - 我的意思是我不希望任何文件之间有任何重复的行。

因此,如果文件#1有“A”,“B”和“C”,文件#2有“C”,“D”和“E”,我正在寻找能获得的代码摆脱文件#2中的“C”,但不删除文件#1。

1 个答案:

答案 0 :(得分:0)

尝试以下方法:

for f in ${FILES}; do
    # skip THE_FILE
    if [ "${f}" = "THE_FILE" ]; then
        continue
    fi
    # remove duplicate lines
    cat "${f}" | sort | uniq > "${f}".dedup
done