合并具有相似列条目的两个文件

时间:2012-04-08 21:08:55

标签: linux perl shell unix

我有一些文件包含用户名和数据传输速率,以MB / s为单位。该数据收集一年,每个月将报告保存在12个不同的文件中。我必须合并所有文件以准备最终报告。

文件如下

Filename1 : January

#User Name           #Data Transferred

A. Paul                       300004
Jason                        600000
Mayur Pandey             40000
Kelly H                       459000
Ryan M                       349000


Filename2 : March 

#User Name           #Data Transferred

Senthl V R                  600000
Mayur Pandey                40000
Kelly H                     459000
Pratap S                    349000
A. Paul                     300004

同样,我还有10个文件。我必须将所有这些文件合并到一个文件中,最终输出应如下所示:

Final Report:

#Username     #January      ....     #March ......... #December      #Total

A. Paul        300004                300004            Not available 600008
Pratap S       Not availanble        30000             32000         7899887
Kelly H        459000                459000            459000        3424448274
Mayur Pandey   40000                 400000            400000        242424442
Senthl V R     Not available         600000            34544         53546464
Jason          600000                Not available     3434343       43434355

我需要一个Perl脚本来自动执行此操作,而不是使用Excel或手动执行此操作。

这些报告是按月生成的,名称不按排序顺序存储。名称存储在使用数据传输工具的最近用户中。还有一些用户在特定月份根本没有使用数据传输的情况;在这种情况下,用户的名称不会出现在月度报告文件中。在这种情况下,我必须在月份名称列中添加 not available

所有字段或列值由\ t TAB分隔并存储在普通txt文件中。

谢谢

2 个答案:

答案 0 :(得分:1)

它比真正的困难更加繁琐。文件名成为输出中的列标题。您可能会将命令行上文件名的顺序视为它们作为输出列出现的顺序;否则,你会积累太多的知识。当您阅读每个文件时,您将该行拆分为名称和编号。您需要一个由名称索引的哈希值,这些值将是对哈希的引用或对数组的引用。

输出相对简单。您决定显示名称的顺序(您的示例输出没有可辨别的顺序),然​​后逐步执行该序列中的哈希。对于每个条目,您可以打印每列中的值,在缺少条目时发现,并在缺少值时打印“不可用”或其附近。您可以随时累积行的总数,也可以累计总计。

你可能想要对数字进行右对齐,而不是左对齐它们。

答案 1 :(得分:0)

虽然以下代码在某处并不是很聪明,但我认为它可以解决您的问题。

use warnings;
my @file_list=("January","February","March","April","May","June","July","August","September","October","November","December");
my %priorities=(   
    January=>1,
    February=>2,
    March=>3,
    April=>4,
    May=>5,
    June=>6,
    July=>7,
    August=>8,
    September=>9,
    October=>10,
    November=>11,
    December=>12
);    
my %report_datas=();    
foreach my $file_name (@file_list) {
    open FH , "<" , $file_name or die("can not open file");
    $skip_line=0;
    while(<FH>) {
            $skip_line++;
        next until $skip_line>2;    #skip the header(first two lines)
        chomp;

        if(/[^\d]+/) {         #get the name
            $name=$&;
            $name=~s/\s+$//;   #strip the empty chars at the end 
        }
        if(/[\d]+/) {        #get the transfer data
            $data=$&;
        }

        $month=$file_name;
        $report_datas{$name}{$month}=$data if not exists $report_datas{$name}{$month};  
        $report_datas{$name}{"priority"}=$priorities{$month};              #always store the latest month while we are reading file_name from January to December 
   }
   close FH;
}

#sort names by the month of using transfer data
@sorted_names = sort { $report_datas{$a}{"priority"} <=> $report_datas{$b}{"priority"} } keys %report_datas;  

#print result
printf "%-18s%-18s%-18s%-18s%-18s%-18s%-18s%-18s%-18s%-18s%-18s%-18s%-18s%-18s\n\n","#Username","#January","#February","#March","#April","#May","#June","#July","#August","#September","#October","#November","#December","#Total";
foreach my $name (@sorted_names) {
    my $sum=0;
    printf "%-18s",$name;
    foreach my $month (@file_list) {
        if ( exists $report_datas{$name}{$month}) {
            printf "%-18d",$report_datas{$name}{$month};
        $sum+=$report_datas{$name}{$month};
        } else {
        printf "%-18s","Not available";
        }
    }

    print "$sum\n";
}