Shell脚本 - 在第二个文件中使用查找智能替换文件

时间:2014-03-07 14:50:26

标签: bash shell awk

我有两个文件,一个数据文件和一个查找文件。

必须使用值更改数据文件的一个字段,该值可在查找文件中找到。

数据文件如下:

2013-04-24;1;0.1635;1.4135
2013-04-24;1;0.9135;1.4135
2013-04-24;2;0.9135;1.4135

查找文件如下所示:

1;2ab1e4c0-de4d-11e2-a934-0f0479162b1b
2;2ab21e90-de4d-11e2-9ce8-d368d9512bad
3;2ab2582e-de4d-11e2-bb5f-6b1f6c4437f8

结果必须是:

2013-04-24 2ab1e4c0-de4d-11e2-a934-0f0479162b1b 0.1635 1.4135
2013-04-24 2ab1e4c0-de4d-11e2-a934-0f0479162b1b 0.9135 1.4135
2013-04-24 2ab21e90-de4d-11e2-9ce8-d368d9512bad 0.9135 1.4135

我知道如何使用awk读取数据文件并转换字段分隔符。

    awk 'BEGIN { FS = ";"; OFS = " " } ;
        {  print $1, $2, #3, $4 }' $1 > $1.updated

但我不知道在shell脚本中查找变量$ 2的智能方法,并用UUID替换原始值。

查找文件永远不会很大,在极端情况下,最多会有1000条记录。

bash或perl中的任何解决方案也将受到赞赏。

4 个答案:

答案 0 :(得分:5)

这应该适合你:

awk -F';' 'NR==FNR{a[$1]=$2;next}{$2=a[$2]}1' lookup data
  • 将输入字段分隔符设置为;
  • 运行查找文件,使用第1列的键创建数组a并将第2列存储为值
  • 在内存中加载查找文件后,用数组值替换第二列数据文件。

答案 1 :(得分:2)

这是join的用途,虽然它确实要求在您想要匹配的字段上对两个输入文件进行排序:

sort -t\; -k2,2 datafile.txt > datafile.tmp
sort -t\; -k1,1 lookup.txt > lookup.tmp
join -t\; -1 2 -2 1 -o 1.1,2.2,1.3,1.4 datafile.tmp lookup.tmp | tr ';' ' '

如果您正在使用bash,则可以将所有内容合并为一行并跳过临时文件:

join -t\; -1 2 -2 1 -o 1.1,2.2,1.3,1.4 <(sort -t\; -k2,2 datafile.txt) <(sort -t\; -k1,1 lookup.txt) | tr ';' ' '

答案 2 :(得分:0)

awk有“数组”(实际上就像哈希/词典一样),对此非常有效。

awk 'BEGIN { FS = ";"; OFS = " " }
     {
         if (NR == FNR)
             values[$1] = $2
         else
             print $1, values[$2], $3, $4
     }' lookup data

答案 3 :(得分:0)

您可以使用全部Bash解决方案。

while IFS=\; read _ stored; do
    string+=($stored)
done < lookup_file
ref=0
while IFS=\; read date _ data1 data2; do
    echo $date ${string[$ref]} $data1 $data2
    ((ref++))
done < data_file

这会将查找文件中的目标字符串存储在一个数组中,并在从数据文件中读取时引用它们。