使用bash / awk将文件和文件与困难的字段分隔符合并

时间:2012-11-14 09:09:07

标签: linux bash configuration merge awk

与我的旧问题相似: How do I merge FileA.txt and FileB.txt giving FileB.txt overwrite power using a bash script?

我想合并两个配置值文件,同样我有fileA和fileB。我想要fileA中fileB的所有行,如果两个文件中都出现相同的配置键,我希望fileB中的值覆盖fileA中的值。

每一行总是以'config'开头,然后有一个键,最后是一个值。使其变得困难的部分是该值可以是带引号的字符串,其中空格键可以分隔多个值(请参阅“网站”值)。

我有一些使用awk和一些bash经验的经验,但我不能为我的生活找到一种方法来做到这一点。所有帮助表示赞赏。感谢

的fileA:

config lanIP 10.1.1.1
config wanIP 1.1.1.1
config wanIPMask 255.255.255.255
config website "http://google.com http://yahoo.com"

FILEB:

config lanIP 192.168.1.1
config wanIP 1.1.1.1
config website "http://google.com http://yahoo.com"
config moreWebsite "http://google.com http://msn.com"

预期产出:

config lanIP 192.168.1.1
config wanIP 1.1.1.1
config wanIPMask 255.255.255.255
config website "http://google.com http://yahoo.com"
config moreWebsite "http://google.com http://msn.com"

3 个答案:

答案 0 :(得分:4)

这个单行可能会有所帮助:

awk '{a[$2]=$0}END{for(x in a)print a[x]}' fileA fileB

注意: 上面的行很短但不保持行的顺序。 (你没有提到排序标准)

试验:

kent$  head a b
==> a <==
config lanIP 10.1.1.1
config wanIP 1.1.1.1
config wanIPMask 255.255.255.255
config website "http://google.com http://yahoo.com"

==> b <==
config lanIP 192.168.1.1
config wanIP 1.1.1.1
config website "http://google.com http://yahoo.com"
config moreWebsite "http://google.com http://msn.com"

kent$  awk '{a[$2]=$0}END{for(x in a)print a[x]}' a b                       
config wanIP 1.1.1.1
config lanIP 192.168.1.1
config moreWebsite "http://google.com http://msn.com"
config wanIPMask 255.255.255.255
config website "http://google.com http://yahoo.com"

如果你想在你的问题中使用相同的顺序,请试试这个单行:

awk '!($2 in a){i[NR]=$2}{a[$2]=$0}END{for(x=1;x<=NR;x++)if(x in i)print a[i[x]]}' a b

测试

kent$  awk '!($2 in a){i[NR]=$2}{a[$2]=$0}END{for(x=1;x<=NR;x++)if(x in i)print a[i[x]]}' a b
config lanIP 192.168.1.1
config wanIP 1.1.1.1
config wanIPMask 255.255.255.255
config website "http://google.com http://yahoo.com"
config moreWebsite "http://google.com http://msn.com"

答案 1 :(得分:0)

如果您不介意使用Python,这里有一个小脚本可以满足您的需求。将它翻译成awk应该非常简单。一般的想法是你按顺序处理文件并填充字典,稍后处理的文件中的值会覆盖先前处理的文件中的值:

import sys

options = {}
for fileName in sys.argv[1:]:
    with open(fileName) as f:
        for line in f:
            parts = line.strip().split(' ', 2)
            if len(parts) == 3:
                options[parts[1]] = parts[2]

for k in options:
    print 'config', k, options[k]

您可以像这样调用脚本:

python merge.py fileA fileB

答案 2 :(得分:0)

Perl解决方案:

#!/usr/bin/perl
use warnings;
use strict;

sub get_key_value {
    my $line = shift;
    die "Invalid line $line" unless $line =~ /^config /;
    chomp $line;
    return (split / /, $line, 3)[1, 2];
}

my %result;

open my $MINOR, '<', 'fileA' or die "Cannot open fileA: $!";
while (<$MINOR>) {
    my ($key, $value) = get_key_value($_);
    $result{$key} = $value;
}

open my $MAJOR, '<', 'fileB' or die "Cannot open fileB: $!";
while (<$MAJOR>) {
    my ($key, $value) = get_key_value($_);
    delete $result{$key};
    print "config $key $value\n";
}

for my $rest (keys %result) {
    print "config $rest $result{$rest}\n";
}