Question

我有多个列分隔的制表符分隔文件。我想计算文件夹中所有文件的列中不同值的出现频率，并按递减顺序对它们进行排序（最高计数优先）。我将如何在Linux命令行环境中完成此任务？

它可以使用任何常见的命令行语言，如awk，perl，python等。

Answer 1

要查看第二列的频率计数（例如）：

awk -F '\t' '{print $2}' * | sort | uniq -c | sort -nr

fileS.txt

z    z    a
a    b    c
w    d    e

fileB.txt

t    r    e
z    d    a
a    g    c

file.txt的

z    r    a
v    d    c
a    m    c

结果：

Answer 2

以下是在shell中执行此操作的方法：

FIELD=2
cut -f $FIELD * | sort| uniq -c |sort -nr

这就是bash很擅长的事情。

Answer 3

GNU site建议使用这个漂亮的awk脚本，它会打印单词及其频率。

可能的变化：

您可以管道浏览sort -nr（并反转word和freq[word]）以降序查看结果。
如果您需要特定列，可以省略for循环，只需编写freq[3]++ - 将3替换为列号。

这里是：

 # wordfreq.awk --- print list of word frequencies

 {
     $0 = tolower($0)    # remove case distinctions
     # remove punctuation
     gsub(/[^[:alnum:]_[:blank:]]/, "", $0)
     for (i = 1; i <= NF; i++)
         freq[$i]++
 }

 END {
     for (word in freq)
         printf "%s\t%d\n", word, freq[word]
 }

Answer 4

的Perl

此代码计算所有列的出现次数，并为每个列打印一个已排序的报告：

# columnvalues.pl
while (<>) {
    @Fields = split /\s+/;
    for $i ( 0 .. $#Fields ) {
        $result[$i]{$Fields[$i]}++
    };
}
for $j ( 0 .. $#result ) {
    print "column $j:\n";
    @values = keys %{$result[$j]};
    @sorted = sort { $result[$j]{$b} <=> $result[$j]{$a}  ||  $a cmp $b } @values;
    for $k ( @sorted ) {
        print " $k $result[$j]{$k}\n"
    }
}

将文本另存为columnvalues.pl
运行方式为：perl columnvalues.pl files*

说明

在顶级while循环中：
*循环组合输入文件的每一行
*将该行拆分为@Fields数组
*对于每列，增加结果数组哈希数据结构

在顶级for循环中：
*循环结果数组
*打印列号
*获取该列中使用的值
*按出现次数对值排序 *基于该值的二级排序（例如b vs g vs m vs z）
*使用排序列表来迭代结果哈希 *打印每次出现的值和数量

基于@Dennis

提供的样本输入文件的结果

column 0:
 a 3
 z 3
 t 1
 v 1
 w 1
column 1:
 d 3
 r 2
 b 1
 g 1
 m 1
 z 1
column 2:
 c 4
 a 3
 e 2

.csv输入

如果您的输入文件是.csv，请将/\s+/更改为/,/

模糊处理

在一场丑陋的比赛中，Perl装备精良这个单行也是如此：

perl -lane 'for $i (0..$#F){$g[$i]{$F[$i]}++};END{for $j (0..$#g){print "$j:";for $k (sort{$g[$j]{$b}<=>$g[$j]{$a}||$a cmp $b} keys %{$g[$j]}){print " $k $g[$j]{$k}"}}}' files*

Answer 5

红宝石（1.9 +）

#!/usr/bin/env ruby
Dir["*"].each do |file|
    h=Hash.new(0)
    open(file).each do |row|
        row.chomp.split("\t").each do |w|
            h[ w ] += 1
        end
    end
    h.sort{|a,b| b[1]<=>a[1] }.each{|x,y| print "#{x}:#{y}\n" }
end

在bash中的列中获取唯一值的计数

5 个答案:

的Perl

说明

基于@Dennis

.csv输入

模糊处理