计算awk中每一行的标准偏差

时间:2021-04-27 12:48:08

标签: awk data-processing

我有问题。我的数据每行(500 列)由 500 个字段组成,我也有 5000 行。我想计算每行的标准偏差作为输出 输入示例

3  0  2  ...(496 another values)...   1
4  1  0  ...(496 another values)...   4
1  3  0  ...(496 another values)...   2

预期输出

0.571 (std for values from the first row)
0.186 (std values from the second row)
0.612 (std values from the third row)

我发现了类似的东西,但它不适合我的情况(他们为每一列计算标准差)。 Compute average and standard deviation with awk

我考虑计算每行的总和以检查平均值,然后为每个字段 std[i] += ($i - sum[i])^2,最后 sqrt(std[i]/( 500-1)),但是我可能必须为每一行创建数组(5000个数组)。

也许我应该将行改为列,将列改为行?

编辑:

是的,这太棒了

#!/bin/bash
awk 'function std1() { 
    s=0; t=0;
    for( i=1; i<=NF; i++)
        s += $i;
    mean = s / NF; 
    for (i=1; i<=NF; i++ )
        t += (mean-$i)*(mean-$i);
    return sqrt(t / s)
    }
    { print std1()}' data.txt >> std.txt

1 个答案:

答案 0 :(得分:2)

我不保证计算,但你可以这样做:

awk 'function sigma(   s,   t) { 
    for( i=1; i<=NF; i++)
        s += $i;
    mean = s / NF; 
    for (i=1; i<=NF; i++ )
        t += (mean-$i)*(mean-$i);
    return sqrt(t / NF)
    }
    { print sigma()}' input-path