Unix:计算第一列中类似条目的出现次数,对第二列求和

时间:2013-11-14 18:37:17

标签: bash awk

我有一个包含两列数据的文件,我想计算第一列中相似性的出现。当第一列中的两个相似条目匹配时,我还想对两个匹配条目的第二列的值求和。

示例列表:

2013-11-13-03 1
2013-11-13-06 1
2013-11-13-13 2
2013-11-13-13 1
2013-11-13-15 1
2013-11-13-15 1
2013-11-13-15 1
2013-11-13-17 1
2013-11-13-23 1
2013-11-14-01 1
2013-11-14-04 6
2013-11-14-07 1
2013-11-14-08 1
2013-11-14-09 1
2013-11-14-09 1

我希望输出读取类似于以下

2013-11-13-03 1 1
2013-11-13-06 1 1
2013-11-13-13 2 3
2013-11-13-15 3 3
2013-11-13-17 1 1
2013-11-13-23 1 1
2013-11-14-01 1 1
2013-11-14-04 1 6
2013-11-14-07 1 1
2013-11-14-08 1 1
2013-11-14-09 2 2

第1列是前面示例第1列中的匹配列,第2列是前一示例中第1列的匹配计数(如果没有其他匹配则为1),第3列是匹配列中第2列的总和前面示例中的1个条目。任何人都有使用awk或uniq和awk混合完成此任何提示吗?

2 个答案:

答案 0 :(得分:5)

以下是awksort的简要说明:

awk '
{
    counts[$1]++;     # Increment count of lines.
    totals[$1] += $2; # Accumulate sum of second column.
}
END {
    # Iterate over all first-column values.
    for (x in counts) {
        print x, counts[x], totals[x];
    }
}
' file.txt | sort

如果您不关心输出行的顺序,可以跳过sort

答案 1 :(得分:1)

这是一个纯粹的Bash解决方案

$ cat t
2013-11-13-03 1
2013-11-13-06 1
2013-11-13-13 2
2013-11-13-13 1
2013-11-13-15 1
2013-11-13-15 1
2013-11-13-15 1
2013-11-13-17 1
2013-11-13-23 1
2013-11-14-01 1
2013-11-14-04 6
2013-11-14-07 1
2013-11-14-08 1
2013-11-14-09 1
2013-11-14-09 1
$ declare -A SUM CNT
$ while read ts vl; do (( SUM[$ts]=+$vl )) ; (( CNT[$ts]++ )); done < t
$ for i in "${!CNT[@]}"; do   echo "$i ${CNT[$i]} ${SUM[$i]} "; done | sort
2013-11-13-03 1 1 
2013-11-13-06 1 1 
2013-11-13-13 2 3 
2013-11-13-15 3 3 
2013-11-13-17 1 1 
2013-11-13-23 1 1 
2013-11-14-01 1 1 
2013-11-14-04 1 6 
2013-11-14-07 1 1 
2013-11-14-08 1 1 
2013-11-14-09 2 2