awk两个文件基于1st&第二栏

时间:2014-04-10 12:15:16

标签: perl shell unix awk ksh

我试图将新文件与旧文件合并。

主列上有一个唯一键,然后是分隔符' ='和一个价值。

  • 如果两个文件中都存在主键,我必须保留旧值,如果新值不同,请在该行附近添加注释。
  • 如果主键只存在于旧键中,请保留它。
  • 如果主键仅存在于new中,请将其插入

例如:

在旧文件中:

$ cat oldfile.txt
VAR NAME ONE = FOO
TWO BAR = VALUE 
; this is a comment

在新的:

$ cat newfile.txt
TWO BAR = VALUE
; this is a comment
VAR NAME ONE = BAR
NEW = DATA

期望的输出:

$ cat output.txt
VAR NAME ONE = FOO
;new value:
; VAR NAME ONE = BAR
TWO BAR = VALUE 
; this is a comment
NEW = DATA

我试图处理差异,但它只是逐行工作,我很确定awk可以做到这一点......但我不是awk的专家。我可以用ksh写一些东西来完成这项工作,但我很确定还有另一种方法更快更简单。

请注意,以前和新文件中的行顺序可以更改,我在AIX(Unix)上,而不是Linux上。

感谢您的帮助:)

修改

我在第一篇文章中并不准确,如果上一个文件中没有新评论,则必须保留这些评论。

2 个答案:

答案 0 :(得分:1)

Perl解决方案。首先,它将新文件读入哈希。然后它会覆盖旧的并查询更改的哈希值。您没有在新文件中指定如何处理注释,您必须在相应的注释中调整代码。

#!/usr/bin/perl
use warnings;
use strict;

my ($oldfile, $newfile) = @ARGV;

my %new;
my $last;
open my $NEW, '<', $newfile or die $!;
while (<$NEW>) {
    chomp;
    if (/^;/) {
        $new{$last}{comment} = $_; # What should we do with comments?
    } elsif (! /=/) {
        warn "Invalid new line $.\n";
    } else {
        my ($key, $value) = split /\s* = \s*/x, $_, 2;
        $new{$key}{value} = $value;
        $last = $key;
    }
}

open my $OLD, '<', $oldfile or die $!;
while (<$OLD>) {
    chomp;
    if (/^;/) {
        print "$_\n";
    } elsif (my ($key, $value) = split /\s* = \s*/x, $_, 2) {
        if (exists $new{$key}) {
            print "$key = $value\n";
            if ($new{$key}{value} ne $value) {
                print ";new value:\n";
                print "; $key = $new{$key}{value}\n";
            }
        } else {
            print "$key = $value\n";
        }
        delete $new{$key};
    } else {
        warn "Invalid old line $.\n";
    }
}
for my $key (keys %new) {
    print "$key = $new{$key}{value}\n";
}

答案 1 :(得分:0)

使用awk

awk '
BEGIN {FS=OFS="="}
NR==FNR {
     line[$1] = $2;
     next
}
($1 in line) && ($2!=line[$1]) {
    print $0; 
    print ";new value:"; 
    print "; "$1, line[$1];
    delete line[$1]; 
    next
}
($1 in line) && ($2==line[$1]) {
    print $0;
    delete line[$1]; 
    next
}1
END {
    for (k in line) 
        print k, line[k]
}' newfile oldfile

输出:

VAR NAME ONE = FOO
;new value:
; VAR NAME ONE = BAR
TWO BAR = VALUE
; this is a comment
NEW = DATA