输出：

Question

需要帮助来比较2个csv文件。列数未知。

File1中

A,B,C,D,E,F,G
1,2,3,4,5,6,7
7,6,5,4,3,2,1

文件2

A,B,C,D,E,F,G
1,2,3,4,5,5,7
7,6,6,4,3,2,1

期望输出

Item  FILE1   FILE2
1     F=6     F=5
7     C=5     C=6

如果有更多列不匹配，那么输出应该是这样的。

Item  FILE1   FILE2
1     F=6     F=5
      ---     ---
      ---     ---
7     C=5     C=6

Answer 1

您可以使用以下命令：

paste -d '\n' file1 file2 | sed '1d' | awk -F',' 'NR==1{print "Item\tFILE1\tFILE2";for(i=1;i<=NF;i++)header[i]=$i;}NR>1{for(i=1;i<=NF;i++)l1[i]=$i;getline;for(i=1;i<=NF;i++)l2[i]=$i;p=1;for(i=1;i<=NF;i++){if(l1[i]!=l2[i])if(p){print l1[1]"\t"header[i]"="l1[i]"\t"header[i]"="l2[i];p=0;}else print " \t---\t---"}}'

<强>文件1：

A,B,C,D,E,F,G
1,2,3,1,4,6,7
7,6,5,2,3,2,1

<强> file2的：

A,B,C,D,E,F,G
1,2,3,4,5,5,7
7,6,6,4,3,2,1

<强>说明：

paste -d '\n' file1 file2将交错2个输入文件

输出:(对于我的2个输入文件）

A,B,C,D,E,F,G
A,B,C,D,E,F,G
1,2,3,1,4,6,7
1,2,3,4,5,5,7
7,6,5,2,3,2,1
7,6,6,4,3,2,1

sed '1d'删除双标头
awk会将标题行保存在header数组中;然后每2个获取2行并遍历所有字段并将它们保存在2个数组l1和l2中，然后我们将这两个数组1的元素逐一比较，并且只要我们有第一个差异我们打印它，如果我们已经打印出差异，那么p变为0我们会更改我们打印的输出以获得新的差异

最终输出:(对于我的2个输入文件）

Item    FILE1   FILE2
1       D=1     D=4
        ---     ---
        ---     ---
7       C=5     C=6
        ---     ---

用-F＆＃39;格式化的awk代码，＆＃39;：

NR==1{
    print "Item\tFILE1\tFILE2";
    for(i=1;i<=NF;i++)header[i]=$i;
}
NR>1{
    for(i=1;i<=NF;i++)l1[i]=$i;
    getline;
    for(i=1;i<=NF;i++)l2[i]=$i;
    p=1;
    for(i=1;i<=NF;i++){
        if(l1[i]!=l2[i])
          if(p){
            print l1[1]"\t"header[i]"="l1[i]"\t"header[i]"="l2[i];
            p=0;
          }
          else 
            print " \t---\t---"
    }
}

如果要显示所有差异，请使用

NR==1{
    print "Item\tFILE1\tFILE2";
    for(i=1;i<=NF;i++)header[i]=$i;
}
NR>1{
    for(i=1;i<=NF;i++)l1[i]=$i;
    getline;
    for(i=1;i<=NF;i++)l2[i]=$i;
    p=1;
    for(i=1;i<=NF;i++){
        if(l1[i]!=l2[i])
          if(p){
            print l1[1]"\t"header[i]"="l1[i]"\t"header[i]"="l2[i];
            p=0;
          }
          else 
            print " \t"header[i]"="l1[i]"\t"header[i]"="l2[i];
    }
}

或在一个命令中：

paste -d '\n' file1 file2 | sed '1d' | awk -F',' 'NR==1{print "Item\tFILE1\tFILE2";for(i=1;i<=NF;i++)header[i]=$i;}NR>1{for(i=1;i<=NF;i++)l1[i]=$i;getline;for(i=1;i<=NF;i++)l2[i]=$i;p=1;for(i=1;i<=NF;i++){if(l1[i]!=l2[i])if(p){print l1[1]"\t"header[i]"="l1[i]"\t"header[i]"="l2[i];p=0;}else print " \t"header[i]"="l1[i]"\t"header[i]"="l2[i]; }}'

这会产生以下输出：

Item    FILE1   FILE2
1       D=1     D=4
        E=4     E=5
        F=6     F=5
7       C=5     C=6
        D=2     D=4

Answer 2

~> ( nl file1.txt && nl file2.txt ) | sort | awk 'BEGIN{cnt=1;print "Item\tFILE1\tFILE2"}{if (NR==1) split($2,col,",");}{if ((NR%2)==1){split($2,data_2_NR,",");}else {split($2,data_1_NR,",");  for (i in data_1_NR) if (data_1_NR[i]!=data_2_NR[i]) print cnt++ "-" data_1_NR[1] "\t"col[i]"="data_1_NR[i] "\t"col[i]"=" data_2_NR[i]  }}' }}'

输出：

Item    FILE1   FILE2
1-1     F=6     F=5
2-7     C=6     C=5

说明：

为每个文件添加行号并对结果进行排序

( nl file1.txt && nl file2.txt ) | sort | \

输出：

   1    A,B,C,D,E,F,G
   1    A,B,C,D,E,F,G
   2    1,2,3,4,5,5,7
   2    1,2,3,4,5,6,7
   3    7,6,5,4,3,2,1
   3    7,6,6,4,3,2,1

启动计数器（cnt）以获得差异和数量。打印表标题

 awk 'BEGIN{cnt=1;print "Item\tFILE1\tFILE2"}\

从第一行获取列名称（拆分$ 2，因为我们需要原始内容而不是编号，编号用于排序）

 {if (NR==1) split($2,col,",");}\

由于我们已经完成的初始排序，我们可以查看差异的奇数和偶数行将奇数行拆分为名为data_2_NR

的数组

 {if ((NR%2)==1){split($2,data_2_NR,",");}\

偶数行到名为data_1_NR

的数组

 else {split($2,data_1_NR,",");\

在data_1_NR＆amp;中的所有列上运行data_2_NR数组并比较每个数组单元

 for (i in data_1_NR) if (data_1_NR[i]!=data_2_NR[i])\

如果它们是表格中不同的打印行

 print cnt++ "-" data_1_NR[1] "\t"col[i]"="data_1_NR[i] "\t"col[i]"=" data_2_NR[i]}}' }}'

输出

Item    FILE1   FILE2
1-1     F=6     F=5
2-7     C=6     C=5

AWK比较2个csv文件

2 个答案:

输出：

说明：

输出