使用unix实用程序删除连续的重复行

时间:2018-04-06 19:45:11

标签: bash unix duplicates utility

这听起来很简单,但实际上有点复杂。我想使用unix实用程序删除连续的重复项,保留原始副本。但是,我还想保留原始版本之后不会立即出现的其他重复项。例如,如果我们有这些行:

O B 
O B 
C D 
T V
O B

我希望输出为:

O B 
C D
T V
O B 

虽然第一行和最后一行是相同的,但它们不是连续的,因此我想将它们保留为唯一条目。

1 个答案:

答案 0 :(得分:3)

你可以这样做:

uniq file1 file2

或更简洁:

file1

假设O B O B C D T V O B 包含

uniq

有关详细信息,请参阅man uniq。特别要注意,uniq [OPTION]... [INPUT [OUTPUT]]命令使用以下语法接受两个参数:sort -u file1 > file2

最后,如果您想要删除所有重复项(并在整个过程中对文件进行排序),您可以这样做:

    <div class="container" align="center">
        <h3 class="column" style="padding: 30px"> My Projects </h3>

        <div class="container" align="center" style="width: 40%; border: 2px solid #00CC11">
            <img src="./images/rectsimg.png" alt="Rects-Fight" style="float: left; width: 50%">
            <a href="./python/rects-fight.html" style="float: right; padding-right: 12%"> Rects Fight! </a>
        </div>
    </div>