awk - 合并数据并根据匹配分配值

时间:2015-03-31 19:26:56

标签: bash awk merge match

我尝试通过合并来自一个文件的所有数据和来自第二个文件的部分数据以及来自第一个文件的部分数据来创建文件(根据第1列中的匹配进行分配)每个文件)。 file1的第1列可能有多个条目。 file2的第1列可以包含与file1匹配的零个,一个或多个条目。无论file2中是否存在匹配,file1中的所有记录都需要存在于输出文件中。只要存在匹配项,就需要创建一个条目,其中包括file2中的第1列与file1中第2列的合并。

文件1:

1000000001 3B413B9E9BD9E72DF10CE754F386B073
1000000001 70366A2BA2D0476FB587FBFE0904E891
1000000003 D9F5F4F8EC337F76CCE3C34AF33F5F4B
1000000004 AE160D7D81E725556FAFD105F302D51D
1000000004 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000000007 3B413B9E9BD9E72DF10CE754F386B073
1000000008 4544AE8958411CC2CF541C0054EAFCB0
1000000013 566D29AC189E1C24D0E5DE46DCA14752

file2的:

1000000002 1000010051
1000000002 1000000006
1000000002 1000010073
1000000004 1000000879
1000000004 1000018525
1000000004 1000000595
1000000004 1000001943
1000000004 1000001772
1000000004 1000001770
1000000010 1000000167
1000000010 1000001495
1000000013 1000016156
1000000013 1000000484
1000000013 1000000454

期望的输出(我现在不关心排序 - 可以稍后处理):

1000000001 3B413B9E9BD9E72DF10CE754F386B073
1000000001 70366A2BA2D0476FB587FBFE0904E891
1000000003 D9F5F4F8EC337F76CCE3C34AF33F5F4B
1000000004 AE160D7D81E725556FAFD105F302D51D
1000000879 AE160D7D81E725556FAFD105F302D51D
1000018525 AE160D7D81E725556FAFD105F302D51D
1000000595 AE160D7D81E725556FAFD105F302D51D
1000001943 AE160D7D81E725556FAFD105F302D51D
1000001772 AE160D7D81E725556FAFD105F302D51D
1000000004 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000000879 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000018525 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000000595 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000001943 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000001772 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000001770 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000000007 3B413B9E9BD9E72DF10CE754F386B073
1000000008 4544AE8958411CC2CF541C0054EAFCB0
1000000013 566D29AC189E1C24D0E5DE46DCA14752
1000016156 566D29AC189E1C24D0E5DE46DCA14752
1000000484 566D29AC189E1C24D0E5DE46DCA14752
1000000454 566D29AC189E1C24D0E5DE46DCA14752

我以为我有以下awk声明:

awk 'FNR==NR{a[$1]=$2;next} ($1 in a) {print $2,a[$1]}' file1.txt file2.txt > output.txt

似乎多个条目被删除,并且在unix上查看时数据也保留了一些非打印记录(只看到了较长的file1列2的字符串),但是当在Windows上的记事本中打开时,有两行用于每个记录和每隔一行中的两列。感谢您提供的任何帮助!!

1 个答案:

答案 0 :(得分:1)

我认为这会产生你想要的输出:

$ awk 'NR==FNR{a[$2]=$1;print;next}{for(i in a)if(a[i]==$1)print $2,i}' file1 file2
1000000001 3B413B9E9BD9E72DF10CE754F386B073
1000000001 70366A2BA2D0476FB587FBFE0904E891
1000000003 D9F5F4F8EC337F76CCE3C34AF33F5F4B
1000000004 AE160D7D81E725556FAFD105F302D51D
1000000004 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000000007 3B413B9E9BD9E72DF10CE754F386B073
1000000008 4544AE8958411CC2CF541C0054EAFCB0
1000000013 566D29AC189E1C24D0E5DE46DCA14752
1000000879 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000000879 AE160D7D81E725556FAFD105F302D51D
1000018525 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000018525 AE160D7D81E725556FAFD105F302D51D
1000000595 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000000595 AE160D7D81E725556FAFD105F302D51D
1000001943 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000001943 AE160D7D81E725556FAFD105F302D51D
1000001772 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000001772 AE160D7D81E725556FAFD105F302D51D
1000001770 18FEA2F7BEF0FB4A67D2D2DDA3560B80
1000001770 AE160D7D81E725556FAFD105F302D51D
1000016156 566D29AC189E1C24D0E5DE46DCA14752
1000000484 566D29AC189E1C24D0E5DE46DCA14752
1000000454 566D29AC189E1C24D0E5DE46DCA14752

打印第一个文件中的每一行并存储键值对。对于第二个文件中的每一行,循环遍历数组a并打印第一列的第一个文件中的所有匹配项。