Question

我在文件夹中有很多.txt文件。它们充满了统计数据，并且有一个名称，代表了这些统计数据的实验。

exp_1_try_1.txt
exp_1_try_2.txt
exp_1_try_3.txt

exp_2_try_1.txt
exp_2_try_2.txt

exp_other.txt

在这些文件中，我需要找到具有特定名称的变量的值，并使用它们来计算一些统计数据：min，max，avg，std dev和median。

变量是十进制值，点'＃34;。＆＃34;用作小数分隔符。没有科学的符号，虽然处理它也会很好。

#in file exp_1_try_1.txt
var1=30.523
var2=0.6

#in file exp_1_try_2.txt
var1=78.98
var2=0.4

#in file exp_1_try_3.txt
var1=78.100
var2=1.1

为了做到这一点，我使用了bash。这是我在bash技能生锈之前制作的一个旧剧本。它计算整数值的平均值。

#!/bin/bash

folder=$1
varName="nHops"

cd "$folder"
grep -r -n -i --include="*_out.txt" "$varName" . | sed -E 's/(.+'"$varName"'=([0-9]+))|.*/\2/' | awk '{count1+=$1; count2+=$1+1}END{print "avg hops:",count1/NR; print "avg path length:",count2/NR}' RS="\n"

我想将此脚本修改为：

支持查找可变长度的十进制值
计算更多统计数据

特别是std dev和median可能需要特别注意。

更新：我尝试仅使用UNIX工具解决问题，部分启发by this answer。它工作正常，但不计算标准偏差。选择的答案使用Perl，可能要快得多。

#!/bin/bash

folder=$1
varName="var1"

cd "$folder"
grep -r -n -i --include="exp_1_run_*" "$varName" . | sed -E 's/(.+'"$varName"'=([0-9]+(\.[0-9]*)?))/\2/' | sort -n | awk '
  BEGIN {
    count = 0;
    sum = 0;
  }
  {
    a[count++] = $1;
    sum += $1;
  }
  END {
    avg = sum / count;
    if( (count % 2) == 1 ) {
      median = a[ int(count/2) ];
    } else {
      median = ( a[count/2] + a[count/2-1] ) / 2;
    }
    OFS="\t";
    OFMT="%.6f";
    print avg, median, a[0], a[count-1];
  }
'

Answer 1

要仅提取值，请使用-o和-P grep选项：

grep -rioPh --include="*_out.txt" "(?<=${varName}=)[\d.]+" .

查找类似nHops=1.234的模式，然后打印出1.234

给出您的样本数据：

$ var="var1"
$ grep -oPh "(?<=$var=)[\d.]+" exp_1_try_{1,2,3}.txt 
30.523
78.98
78.100

要输出一些统计数据，您应该能够将这些数字输入到您喜爱的统计程序中。这是一个例子：

grep -oPh "(?<=$var=)[\d.]+" f? | 
perl -MStatistics::Basic=:all -le '
    @data = <>; 
    print "mean: ", mean(@data);
    print "median: ", median(@data);
    print "stddev: ", stddev(@data)
'

mean: 62.53
median: 78.1
stddev: 22.64

当然，由于这是perl，我们根本不需要grep或sed：

perl -MStatistics::Basic=:all -MList::Util=min,max -lne '
        /'"$var"'\s*=\s*(\d+\.?\d*)/ and push @data, $1
    } END {
        print "mean: ", mean(@data);
        print "median: ", median(@data);
        print "stddev: ", stddev(@data);
        print "min: ", min(@data);
        print "max: ", max(@data);
' exp_1_try_*

mean: 62.53
median: 78.1
stddev: 22.64
min: 30.523
max: 78.98

Bash - 在许多.txt文件中查找变量并计算统计数据

1 个答案: