如何使用awk基于公共字段合并文件中的行?

时间:2017-02-17 16:47:30

标签: bash unix awk merge tabs

我有一个大的制表符分隔两个列文件,其坐标有许多生化途径,如下所示:

A    B
B    D
D    F
F    G
G    I
A    C
C    P
P    R
A    M
M    L
L    X

如果一行中的第1列等于另一行中的第2列,我想组合这些行,从而产生以下输出:

A    B    D    F    G    I
B    D    F    G    I
D    F    G    I
F    G    I
G    I
A    C    P    R
C    P    R
P    R
A    M    L    X
M    L    X
L    X

我想使用简单的东西,例如awk 1 liner,有没有人知道如何在不编写shell脚本的情况下接近它?任何帮助表示赞赏。我试图了解每个步骤中的每个步骤和每个后续步骤。由于这些途径经常交叉,一些步骤由其他途径共享,但我想分别分析每个步骤。

我已经尝试了一个shell脚本,我尝试在文件后面grep out $ 2 = $ 1的列:

while [ -s test ]; do
    grep -m1 "^" test > i
    cut -f2 i | sed 's/^/"/' | sed 's/$/"/' | sed "s/^/awk \'\$1 == /" | sed "s/$/' test >> i/" > i.sh
    sh i.sh
    perl -p -e 's/\n/\t/g' i >> OUT
    sed '1d' test > i ; mv i test
done

我知道我的问题来自(a)删除该行和(b)存在重复的事实。我只是不确定如何解决这个问题。

3 个答案:

答案 0 :(得分:3)

<强>输入

$ cat f
A    B
B    D
D    F
F    G
G    I
A    C
C    P
P    R
A    M
M    L
L    X

<强>输出

$ awk '{ 
         for(j=1; j<=NF; j+=2)
         { 
            for(i=j;i<=NF;i+=2)
            {
                printf("%s%s", i==j ? $i OFS : OFS,$(i+1)); 
                if($(i+1)!=$(i+2)){ print ""; break }
            }
          }
        }' RS= OFS="\t" f
A   B   D   F   G   I
B   D   F   G   I
D   F   G   I
F   G   I
G   I
A   C   P   R
C   P   R
P   R
A   M   L   X
M   L   X
L   X

单线

awk '{ for(j=1; j<=NF; j+=2)for(i=j;i<=NF;i+=2){printf("%s%s", i==j ? $i OFS : OFS,$(i+1)); if($(i+1)!=$(i+2)){ print ""; break }}}' RS= OFS="\t" f

答案 1 :(得分:0)

嗯,你可以把它放在一行,但我不推荐它:)

#!/usr/bin/awk -f

{
  a[NR] = $0

  for(i = 1; i < NR; i++){
    if(a[i] ~ $1"$")
      a[i] = a[i] FS $2
    if(a[i] ~ "^"$1){
      for(j = i; j < NR; j++){
        print a[j]
        delete a[j]
      }   
    }   
  }
}

END{
  for(i = 1; i <= NR; i++)
    if(a[i] != "") 
      print a[i]
}

答案 2 :(得分:0)

$ <f.txt tac | awk 'BEGIN{OFS="\t"}{if($2==c1){$2=$2"\t"c2};print $1,$2;c1=$1;c2=$2}' | tac
A       B       D       F       G       I
B       D       F       G       I
D       F       G       I
F       G       I
G       I
A       C       P       R
C       P       R
P       R
A       M       L       X
M       L       X
L       X