如何比较和合并多个文件?

时间:2015-02-10 16:06:59

标签: perl shell bioinformatics bioperl

参考文件

chr1    288598  288656

chr1    779518  779576

chr2    2569592 2569660

chr3    5018399 5018464

chr4    5182842 5182882

文件1

chr1    288598  288656 12

chr1    779518  779576 14

chr2    2569592 2569660 26

chr3    5018399 5018464 27

chr4    5182842 5182882 37

file2的

chr1    288598  288656 35

chr2    2569592 2569660 348

chr3    5018399 5018464 4326

chr4    5182842 5182882 68

我有六个类似的文件,不包括参考文件。

这里前三个字段与参考文件类似。因此,我想从所有6个文件中仅导出第4列并将其放入参考文件以进行新输出。这应该等同于参考文件。他们不匹配的地方就是零。

所需的输出

chr1    288598  288656 23 35 57 68 769 68

chr1    779518  779576 23 0 57 68 768 0

chr2    2569592 2569660 23 35 0 68 79 0

chr3    5018399 5018464 0 36 0 68 769 0

chr4    5182842 5182882 23 0 0 0 0 0

注意:参考文件长度约为2000,其他文件的长度并不总是相同(约500,400,200,100等)。这就是为什么需要零添加。

我尝试了this question

的答案
paste ref.file file1 file2 file3 file4 file5 file6 |  awk '{OFS="\t";print $1,$2,$3,$7,$11,$15,$19,$23,$27}' > final.common.out

但似乎它不起作用 - 错过了一些价值观。我无法理解如何在没有匹配的地方添加零。

1 个答案:

答案 0 :(得分:2)

我认为这样的事情应该做你想要的。我们使用哈希来收集'引用'文件并将其转换为一组带有空数组的键。

然后我们迭代其他文件,提取' 3值'作为键,最后一个值作为实际值。

然后我们比较两者,更新'参考'哈希值为零或零。这里需要注意的是 - 参考文件中的任何行(或重复)都会消失。

#!/usr/bin/perl

use strict;
use warnings;
use autodie;


#read 'reference file' into a hash:
my %ref;
open( my $ref_fh, "<", "reference_file" );
while (<$ref_fh>) {
    my ( $first, $second, $third ) = split;

    #turn the first three fields into space delimited key.
    $ref{"$first $second $third"} = ();
}

#open each of the files.
my @files = qw ( file1 file2 file3 file4 file5 file6 );
foreach my $input (@files) {
    open( my $input_fh, "<", $input );
    my %current;
    while (<$input_fh>) {

        #line by line, extract 'first 3 fields' to use as a key.
        #then 'value' which we store.
        my ( $first, $second, $third, $value ) = split;
        $current{"$first $second $third"} = $value;
    }

    #refer to 'reference file' and insert matching value or zero into
    #the array.
    foreach my $key ( keys %ref ) {
        push( @{ $ref{$key} }, $current{$key} ? $current{$key} : 0 );
    }
}

foreach my $key ( keys %ref ) {
    print join( " ", $key, @{ $ref{$key} } );
}