Question

我有100个数据文件，每个文件有1000行，它们看起来像这样：

0       0   0   0
1       0   1   0
2       0   1   -1
3       0   1   -2
4       1   1   -2
5       1   1   -3
6       1   0   -3
7       2   0   -3
8       2   0   -4
9       3   0   -4
10      4   0   -4
.
.
.
999     1   47  -21
1000        2   47  -21

我开发了一个脚本，它应该取第2,3,4列中每个值的平方，然后求和它们的平方根。像这样：

temp = ($t1*$t1) + ($t2*$t2) + ($t3*$t3)
calc = $calc + sqrt ($temp)

然后计算该值的平方，并在每个数据文件上平均这些数字，以输出每行的平均“calc”，并为每行平均“fluc”。

这些数字的含义是这样的：第一个数字是步数，接下来的三个分别是x，y和z轴上的坐标。我试图找到“步骤”从原点带走的距离，这是用公式r = sqrt(x^2 + y^2 + z^2)计算的。接下来我需要r的波动，其计算为f = r^4或f = (r^2)^2。这些必须是100个数据文件的平均值，这导致我：

r = r + sqrt(x^2 + y^2 + z^2)
avg = r/s

，类似于f，其中s是我使用sum=$(ls -l *.data | wc -l)计算的读取数据文件的数量。最后，我的上一次计算是预期r与平均r之间的偏差，使用最终值在循环外计算为stddev = sqrt(fluc - (r^2)^2)。

我创建的脚本是：

#!/bin/bash

sum=$(ls -l *.data | wc -l)
paste -d"\t" *.data | nawk -v s="$sum" '{
    for(i=0;i<=s-1;i++)
    {
        t1 = 2+(i*4)
        t2 = 3+(i*4)
        t3 = 4+(i*4)
        temp = ($t1*$t1) + ($t2*$t2) + ($t3*$t3)
        calc = $calc + sqrt ($temp)
        fluc = $fluc + ($calc*$calc)
    }
    stddev = sqrt(($calc^2) - ($fluc))
    print $1" "calc/s" "fluc/s" "stddev
    temp=0
    calc=0
    stddev=0
}'

不幸的是，在某种程度上我收到了错误：

nawk: cmd. line:9: (FILENAME=- FNR=3) fatal: attempt to access field -1

我对awk的经验不足以确切地知道我哪里出错了，有人能指出我正确的方向还是给我一个更好的剧本？

预期输出是一个文件：

0 0 0 0
1 (calc for all 1's) (fluc for all 1's) (stddev for all 1's)
2 (calc for all 2's) (fluc for all 2's) (stddev for all 2's)
.
.
.

Answer 1

以下脚本应该执行您想要的操作。唯一可能不起作用的是分隔符的选择。在原始脚本中，您似乎有标签。我的解决方案假设空间但改变这应该不是问题。

它只是将所有文件按顺序传送到nawk，而不先计算文件。我知道这不是必需的。它不是试图跟踪文件中的位置，而是使用数组来存储每个步骤的单独统计数据。最后，它遍历找到的所有步骤索引并输出它们。由于迭代没有排序，因此有另一个进入Unix sort调用的管道来处理这个问题。

#!/bin/bash
# pipe the data of all files into the nawk processor
cat *.data | nawk ' 
BEGIN { 
  FS=" "                         # set the delimiter for the columns
} 
{
  step = $1                      # step is in column 1
  temp = $2*$2 + $3*$3 + $4*$4

  # use arrays indexed by step to store data
  calc[step] = calc[step] + sqrt (temp)
  fluc[step] = fluc[step] + calc[step]*calc[step]
  count[step] = count[step] + 1   # count the number of samples seen for a step
}
END {
  # iterate over all existing steps (this is not sorted!)
  for (i in count) {
    stddev = sqrt((calc[i] * calc[i]) + (fluc[i] * fluc[i]))
    print i" "calc[i]/count[i]" "fluc[i]/count[i]" "stddev
  }
}' | sort -n -k 1 # that' why we sort here: first column "-k 1" and numerically "-n"

修改

由@edmorton awk提升可以负责加载文件本身。以下增强版本删除了对cat的调用，而是将文件模式作为参数传递给nawk。此外，正如@NictraSavios所建议的那样，新版本引入了对最后一步统计输出的特殊处理。请注意，仍然会针对所有步骤收集统计信息。在读取数据时有点难以抑制这一点，因为此时我们还不知道最后一步是什么。虽然这个可以完成一些额外的工作，但你可能会失去很多数据处理的稳健性，因为现在脚本不做任何假设：

提供的文件数

处理文件的顺序，

每个文件中的步骤数

文件中步骤的顺序，

步骤的完整性，作为没有“洞”的范围。

增强的脚本：

#!/bin/bash nawk ' BEGIN { FS=" " # set the delimiter for the columns (not really required for space which is the default) maxstep = -1 } { step = $1 # step is in column 1 temp = $2*$2 + $3*$3 + $4*$4 # remember maximum step for selected output if (step > maxstep) maxstep = step # use arrays indexed by step to store data calc[step] = calc[step] + sqrt (temp) fluc[step] = fluc[step] + calc[step]*calc[step] count[step] = count[step] + 1 # count the number of samples seen for a step } END { # iterate over all existing steps (this is not sorted!) for (i in count) { stddev = sqrt((calc[i] * calc[i]) + (fluc[i] * fluc[i])) if (i == maxstep) # handle the last step in a special way print i" "calc[i]/count[i]" "fluc[i]/count[i]" "stddev else # this is the normal handling print i" "calc[i]/count[i] } }' *.data | sort -n -k 1 # that' why we sort here: first column "-k 1" and numerically "-n"

Answer 2

你也可以使用：

awk -f c.awk *.data

其中c.awk是

{
    j=FNR
    temp=$2*$2+$3*$3+$4*$4
    calc[j]=calc[j]+sqrt(temp)
    fluc[j]=fluc[j]+calc[j]*calc[j]
}

END {
    N=ARGIND
    for (i=1; i<=FNR; i++) {
        stdev=sqrt(fluc[i]-calc[i]*calc[i])
        print i-1,calc[i]/N,fluc[i]/N,stdev
    }
}

Bash / Nawk空白问题

2 个答案: