awk在bash脚本中读取字段

时间:2014-01-14 15:31:46

标签: linux bash awk

我正在尝试读取两个文本文件,以便检查两个文件中的某些字段是否相同。我可以轻松地在命令行中提取字段,但是在使用bash脚本时会出现问题。

我在for循环中生成了文件(文件列表)(尝试了echo和printf命令)

printf "$servidor1$gfs1_dir$gfs1_file\n" >> server1

您可以看到cat命令的输出

cat server1

ftp://server/pub/data/nccf/com/gfs/prod/gfs.2014011400/gfs.t00z.pgrbf00.grib2
ftp://server/pub/data/nccf/com/gfs/prod/gfs.2014011400/gfs.t00z.pgrbf06.grib2

如果我从命令行尝试它运行正常。显示文件中的两行/记录:

awk 'BEGIN { FS="/"} {print $11}' server1

gfs.t00z.pgrbf00.grib2
gfs.t00z.pgrbf06.grib2

但是如果我想设置FNR会出现错误(在脚本awk中它用于构建名为 fremote 的变量)

awk 'BEGIN { FS="/"} { RS="\n"} {FNR == 1} {print $11}' server1

gfs.t00z.pgrbf00.grib2
gfs.t00z.pgrbf06.grib2

当我在bash脚本中创建fremote var时会出现同样的情况(我代表脚本中的循环变量)

i=1
fremote=`awk -v i=$i 'BEGIN { FS="/"} { RS="\n"} {FNR == i} {print $11}' servidor1-file.list`

echo $fremote

gfs.t00z.pgrbf00.grib2 gfs.t00z.pgrbf06.grib2

也许它与server1文件的创建方式有关,也许与awk如何访问它有关。我找不到正确的观点。

提前感谢您的帮助。我将继续处理这个问题并发现答案。

修改

从评论中我添加了bash脚本中的代码,其中调用了awk(希望它有助于理解我正在尝试的内容)。我有两个文件,本地文件列表和服务器中的远程文件列表。我尝试建立两个vars flocal和fremote以检查它们是否相同。也许有更容易和更聪明的方法来检查。

while [ $i -le $nlocal ]  
   do
   flocal=`awk -v i=$i 'FNR == i {print $1}' lista.local`
   fremote=`awk -v i=$i 'BEGIN { FS="/"} {FNR == $i} {print $11}' $2`

   if [ "$flocal" != "$fremote" ]; then 
      echo "Some file missing"  >> $log
      flag_check_descarga=0
   else
      contador=$(($contador + 1))
      echo $contador "Download OK" $flocal  >> $log
   fi
   i=$(( $i + 1 ))
done

1 个答案:

答案 0 :(得分:2)

你的语法错了。

awk -v i="$i" 'BEGIN { FS="/"; RS="\n"}
    FNR == i {print $11}' server1

BEGIN { ... }块包含脚本启动时要执行的操作。 FNR==i { ... }块包含在读取文件的第*行时要执行的操作。

无条件块{ ... }包含无条件执行的操作,即每个输入行。但FNR==i并非有意义的行动;它只是一个布尔值,当文件的行号等于 i 时为true。这是一个很好的条件但作为动作它不会做任何事情(你可以从外面检测到)。

但是,您似乎试图解决的任务使用单个Awk脚本更容易解决 - @EtanReisner在评论中发布的那个对我来说很好 - 或者只是

comm -23 <(sort lista.remote) <(sort lista.local)

或者甚至,如果文件已经排序,

comm -23 lista.local lista.remote

总结一下,你最终会得到像

这样的东西
sort -o lista.local lista.local  # make sure lista.local is sorted
awk -F/ '{ print $11 }' server1 |
sort |
comm -23 - lista.local

为了与Unix精神保持一致,如果没有差异,这将悄然成功,并且失败(退出时使用非零退出代码)并在缺少某些内容时打印缺少的条目。

如果您还要打印已成功下载的文件,只需cat lista.local,或类似sed 's/^/Successfully downloaded /' lista.local