更新

Question

我正在努力获取sar的输出并计算列的标准偏差。我可以使用文件中的单个列成功执行此操作。然而，当我在一个文件中计算同一列时，我正在剥离标题行和平均线之类的“坏”行，它给了我一个不同的值。

以下是我正在执行此操作的文件：

/tmp/saru.tmp

# cat /tmp/saru.tmp
Linux 2.6.32-279.el6.x86_64 (progserver)        09/06/2012      _x86_64_        (4 CPU)

11:09:01 PM     CPU     %user     %nice   %system   %iowait    %steal     %idle
11:10:01 PM     all      0.01      0.00      0.05      0.01      0.00     99.93
11:11:01 PM     all      0.01      0.00      0.06      0.00      0.00     99.92
11:12:01 PM     all      0.01      0.00      0.05      0.01      0.00     99.93
11:13:01 PM     all      0.01      0.00      0.05      0.00      0.00     99.93
11:14:01 PM     all      0.01      0.00      0.04      0.00      0.00     99.95
11:15:01 PM     all      0.01      0.00      0.06      0.00      0.00     99.92
11:16:01 PM     all      0.01      0.00      2.64      0.01      0.01     97.33
11:17:01 PM     all      0.02      0.00     21.96      0.00      0.08     77.94
11:18:01 PM     all      0.02      0.00     21.99      0.00      0.08     77.91
11:19:01 PM     all      0.02      0.00     22.10      0.00      0.09     77.78
11:20:01 PM     all      0.02      0.00     22.06      0.00      0.09     77.83
11:21:01 PM     all      0.02      0.00     22.10      0.03      0.11     77.75
11:22:01 PM     all      0.01      0.00     21.94      0.00      0.09     77.95
11:23:01 PM     all      0.02      0.00     22.15      0.00      0.10     77.73
11:24:01 PM     all      0.02      0.00     22.02      0.00      0.09     77.87
11:25:01 PM     all      0.02      0.00     22.03      0.00      0.13     77.82
11:26:01 PM     all      0.02      0.00     21.96      0.01      0.14     77.86
11:27:01 PM     all      0.02      0.00     22.00      0.00      0.09     77.89
11:28:01 PM     all      0.02      0.00     21.91      0.00      0.09     77.98
11:29:01 PM     all      0.03      0.00     22.02      0.02      0.08     77.85
11:30:01 PM     all      0.14      0.00     22.23      0.01      0.13     77.48
11:31:01 PM     all      0.02      0.00     22.26      0.00      0.16     77.56
11:32:01 PM     all      0.03      0.00     22.04      0.01      0.10     77.83
Average:        all      0.02      0.00     15.29      0.01      0.07     84.61

/tmp/sarustriped.tmp

# cat /tmp/sarustriped.tmp                              
0.05
0.06
0.05
0.05
0.04
0.06
2.64
21.96
21.99
22.10
22.06
22.10
21.94
22.15
22.02
22.03
21.96
22.00
21.91
22.02
22.23
22.26
22.04

基于/tmp/saru.tmp的计算：

# awk  '$1~/^[01]/ && $6~/^[0-9]/ {sum+=$6; array[NR]=$6} END {for(x=1;x<=NR;x++){sumsq+=((array[x]-(sum/NR))**2);}print sqrt(sumsq/NR)}' /tmp/saru.tmp
10.7126

基于/tmp/sarustriped.tmp的计算（正确的）

# awk '{sum+=$1; array[NR]=$1} END {for(x=1;x<=NR;x++){sumsq+=((array[x]-(sum/NR))**2);}print sqrt(sumsq/NR)}' /tmp/sarustriped.tmp
9.96397

有人可以协助并告诉我为什么这些结果不同，并且有一种方法可以使用单个awk命令获得更正的结果。我试图为性能做这个，所以不要使用像grep或其他awk命令这样的单独命令。

谢谢！

更新

所以我试过了......

awk  '
  $1~/^[01]/ && $6~/^[0-9]/ {
    numrec += 1
    sum    += $6
    array[numrec] = $6
  } 
  END {
    for(x=1; x<=numrec; x++)
      sumsq += ((array[x]-(sum/numrec))^2)
    print sqrt(sumsq/numrec)
  }
' saru.tmp

它对我正在使用的sar -u输出正常工作。我不明白为什么它不适用于其他'列表'。为了简短，尝试使用sar -r第5列。它再次给出错误的答案...输出给出1.68891，但实际偏差是.107374 ......这是与sar -u一样的命令。 ....如果你需要我可以提供的文件。只是不确定如何制作一个新的“完整”评论...所以我只是编辑旧的...谢谢！

Answer 1

我认为错误是你的第一个awk行（在saru.tmp上运行的行）不会忽略无效行，因此当你使用NR进行数学运算时，你的结果取决于跳过行的数量。当您删除所有无效/跳过的行时，两个程序的结果都是相同的。因此，在第一个命令中，您应该在数学中使用有效行数而不是NR。

这个怎么样？

awk '
  $1 ~ /^[01]/ && $6~/^[0-9]/ {
    numrec       += 1
    sum          += $6
    array[numrec] = $6
  } 
  END {
    for(x=1; x<=numrec; x++)
      sumsq += (array[x]-(sum/numrec))^2
    print sqrt(sumsq/numrec)
  }
' saru.tmp

Answer 2

对于这样的调试问题，最简单的技术是打印出一些基本数据。您可以打印项目数，值的总和，以及值的平方和（或偏离平均值的平方和）。这可能会告诉你两次运行之间有什么不同。有时，在累积数据时打印出正在累积的值可能会有所帮助。如果我不得不猜测，我怀疑你是在计算不合适的线条（空白或装饰线），所以计数是不同的（也许是总和）。

我有几个（非标准）程序来进行计算。鉴于文件data中多列输出的23条相关行，我运行了：

$ colnum -c 6 data | pstats
# Count    = 23
# Sum(x1)  =  3.557200e+02
# Sum(x2)  =  7.785051e+03
# Mean     =  1.546609e+01
# Std Dev  =  1.018790e+01
# Variance =  1.037934e+02
# Min      =  4.000000e-02
# Max      =  2.226000e+01
$

这里的标准偏差是样本标准差而不是总体标准差;差异除以样本的（N-1）和人口的N.

awk搜索并计算标准差的不同结果

更新

2 个答案: