Question

我一直在四处寻找，但我无法发现任何接近我所寻找的东西。我想一个例子将首先解释它：输入：

------------------------------------|
|   List1   |   List2   |   List3   |
|     1     |     2     |     3     |
|     2     |     3     |     4     |
|     3     |     4     |     5     |
|     4     |     5     |     6     |
|     5     |     6     |     7     |
|     6     |     7     |     a     |
|     7     |     8     |     b     |
|     a     |     d     |     c     |

期望的输出：

------------------------------------|
|   List1   |   List2   |   List3   |
|     1     |     8     |     b     |
|           |     d     |     c     |

因此，正如您所看到的，目标是在每列中仅保留表中其他位置未找到的内容。理想情况下，这应适用于任意数量的列。

awk，bash甚至excel中的任何内容都没问题。到目前为止，我已经玩过awk，但无济于事。

任何帮助将不胜感激。

谢谢大家。

编辑，澄清。实际输入是我想要比较的不同列表。理想情况下，它们每个都在不同的文件中。现在，我可以轻松地将它们合并以匹配示例中给出的输入，以便答案中提供的代码适用。

Answer 1

请尝试Python：

import re

with open("./input_file", "rt") as file:
  f = file.readlines()
  cols = [re.findall(r"[\w']+", x) for x in f[3:]]

col1 = set(x[0] for x in cols)
col2 = set(x[1] for x in cols)
col3 = set(x[2] for x in cols)

print col1.difference(col2.union(col3))
print col2.difference(col1.union(col3))
print col3.difference(col1.union(col2))

输出：

set(['1'])
set(['8', 'd'])
set(['c', 'b'])

<强> 修改

增强版本以匹配所需的格式。也应该使用任意数量的列/行。

from __future__ import print_function
import re

with open("./input_file", "rt") as file:
    f = file.readlines()
    for x in f[:2]:
        print(x,end='')
    rows = [re.findall(r"(?<=\|)(.*?)(?:\|)", x) for x in f[2:]]
    col_num, col_width = len(rows[0]), len(rows[0][0])
    cols = [ set(y[x] for y in rows) for x in range(len(rows[0]))]

uniq_cols = []
for col in cols:
    uniq_cols.append(list(col.difference(set().union(*[c for c in cols if c != col]))))

for x in range(max(len(x) for x in uniq_cols)):
    print('|', end='')
    for col in uniq_cols:
        try:
            print(col[x], end='')
            print('|', end='')
        except IndexError:
            print(' '*col_width, end='')
            print('|', end='')
    print('\n', end='')

输出：

------------------------------------|
|   List1   |   List2   |   List3   |
|     1     |     8     |     c     |
|           |     d     |     b     |

Answer 2

$ cat tst.awk
BEGIN { FS="[[:space:]]*[|][[:space:]]*" }
NR<3 { print; next }
{
    for (i=2;i<NF;i++) {
        cnt[$i]++
        inCells[NR,i] = $i
    }
}
END {
    for (inRowNr=3; inRowNr<=FNR; inRowNr++) {
        for (colNr=2; colNr<NF; colNr++) {
            val = inCells[inRowNr,colNr]
            if ( cnt[val] == 1 ) {
                outRowNr = ++colOutRowNr[colNr]
                outCells[outRowNr,colNr] = val
                numOutRows = (outRowNr > numOutRows ? outRowNr : numOutRows)
            }
        }
    }

    for (outRowNr=1; outRowNr<=numOutRows; outRowNr++) {
        printf "|"
        for (colNr=2; colNr<NF; colNr++) {
            printf "     %s     |", ((outRowNr,colNr) in outCells ? outCells[outRowNr,colNr] : " ")
        }
        print ""
    }

}

$ awk -f tst.awk file
------------------------------------|
|   List1   |   List2   |   List3   |
|     1     |     8     |     b     |
|           |     d     |     c     |

Answer 3

awk救援！

$ awk 'function abc(x,y,z) 
       {for(k in x) if(!(k in y || k in z)) printf "%s", FS k; 
        print ""
       } 

  NR==1{split($0,h); next} 
       {a[$1];b[$2];c[$3]}
    END{printf "%s", h[1]; abc(a,b,c); 
        printf "%s", h[2]; abc(b,a,c); 
        printf "%s", h[3]; abc(c,a,b) }' file

List1 1
List2 8 d
List3 b c

通常，由于记录的逻辑单元是行（行），因此列操作更难。您可以将其转换回列格式我不确定是否需要。

Answer 4

您可以使用awk：

对此文件进行2次传递

awk 'FNR==NR{for(i=1; i<=NF; i++) dup[$i]++; next}
  {for(i=1; i<=NF; i++) printf "%s%s", ((dup[$i]>1)? ".":$i), OFS; print ""}' file file |
  column -t

<强>输出：

List1  List2  List3
1      .      .
.      .      .
.      .      .
.      .      .
.      .      .
.      .      .
.      8      b
.      d      c

使用DOT只是为了在输出中显示空白列。

要正确使用格式：

awk 'FNR==NR{
   for(i=1; i<=NF; i++)
      dup[$i]++
   fld=NF
   next
} {
  for(i=1; i<=NF; i++)
     if (dup[$i]<=1) {
        for(j=1; j<i; j++)
           if (dup[$j]>1)
              printf "\t"
        p++
        printf "%s%s", $i, (p && p%fld == 0) ? ORS : OFS
     }
}
END{
  print ""
}' file file

<强>输出：

List1  List2  List3
1      8      b
       d      c

Answer 5

awk -F '\|'

{   l1[$2]++; l2[$3]++; l3[$4]++ }
END{
    for i in l1 {if(l2[i] > 0 || l3[i] > 0 ) delete l1[i]}
    for i in l2 {if(l1[i] > 0 || l3[i] > 0 ) delete l2[i]}
    for i in l3 {if(l1[i] > 0 || l2[i] > 0 ) delete l3[i]}

    # formatting report is left as an exercise
}

Answer 6

对于您的示例格式相当严格，这里是一个shell脚本，除了第一行之外，它还会生成您期望的输出。基本上，您将数据读入单独的列，并记录表中的所有数据。然后生成没有重复数据的数据列。然后打印去重复数据。如果您有包含空格的数据，这将会中断，但要解决此问题，您只需调整$ IFS以匹配您的分隔符。

这也是ksh93特有的。我不知道在打击中会有多少打破，但我不喜欢打击那么多。我认为如果你想用另一种语言重新实现它应该是相当可读的，但是在某个地方的Linux或UNIX系统上安装ksh93可能更容易（RHEL和Ubuntu都附带一个包，就像大多数常见系统一样）。

#!/usr/bin/ksh
IFS="${IFS}|" # also split on pipe

[[ -f "${1:-}" ]] || { print -- "'${1:-}' is not a file" >&2; exit 1; }
exec 3<$1

read firstline <&3
read -A headings <&3
# prune first element, due to weird line splitting
headings=("${headings[@]:1}")


# build data structure of all columns and aggregated values
typeset -a data
typeset -A counter
typeset -i row=0
while read -A line
do
  col=0
  #for v in ${line[@]}
  for v in "${line[@]:1}" # ignore false first element
  do
    data[$((col++))][$row]=$v
    (( counter[$v] += 1 ))
  done
  ((row++))
done <&3

# remove duplicated data from columns
row=0
typeset -i maxrows=0
typeset -a deduped
for col in {1..${#data[@]}}
do
  c=$(( col - 1 ))
  row=0
  for v in ${data[$c][@]}
  do
    [[ ${counter[$v]} -eq 1 ]] && deduped[$c][$((row++))]=${v}
  done
  [[ $row -gt $maxrows ]] && maxrows=$row
done

# pad short columns with empty elements and calculate widths
typeset -a widths
for col in {1..${#deduped[@]}}
do
  c=$((col-1))
  widths[$c]=${#headings[$c]} # default to heading width
  while [[ ${#deduped[$c][@]} -lt $maxrows ]]
  do
    deduped[$c][${#deduped[$c][@]}]=''
    [[ ${widths[$c]} -lt ${#v} ]] && widths[$c]=${#v}
  done
  (( widths[$c] += 2 )) # allow for a space on each side
done

# print the table out
# header first
format='|'
for w in "${widths[@]}"
do
  format="${format}%=${w}s|"
done
format="${format}\n"
printf "$format" "${headings[@]}"

# then table
row=0
while [[ $row -lt $maxrows ]]
do
  typeset -a r
  for col in {1..${#deduped[@]}}
  do
    c=$((col-1))
    r[$c]="${deduped[$c][$row]}"
  done
  printf "$format" "${r[@]}"
  ((row++))
done

处理您的测试文件：

$ ./test.ksh testfile
| List1 | List2 | List3 |
|   1   |   8   |   b   |
|       |   d   |   c   |

Answer 7

此回复主要关注有n列的一般情况，对于任何n＆gt; = 1.这使得程序比其他情况稍长。

由于OP引用了Excel，因此该响应还假定数据可用作具有分隔符分隔值的文件（例如TSV或管道分隔）。为了便于阅读，我将假设一个简单的CSV，如下所示：

List1,List2,List3
1,2,3
2,3,4
3,4,5
4,5,6
5,6,7
6,7,a
7,8,b
a,d,c

此响应还假设在输出中，每列中值的排序并不重要。（另一种情况留给读者练习： - ）

最后的假设是我们可以使用输入字段分隔符作为输出字段分隔符（OFS = FS）。

然后是awk程序，它不需要超过标准的awk：

awk -F, '
  # print an m by n matrix, a:
  function printm(a,m,n, i,j, row) {
    for(i=1;i<=m;i++) {
      row=a[i,1];
      for(j=2;j<=n;j++) {row = row OFS a[i,j]}
      print row;
    }
  }

  function maxfields(i)  { if (MAXFIELDS =="" || MAXFIELDS<i ) {MAXFIELDS=i; } }
  function maxcounter(i) { if (MAXCOUNTER=="" || MAXCOUNTER<i) {MAXCOUNTER=i;} }
  # process one line of input:
  function assemble(  i) {
     for(i=1;i<=NF;i++) {
       if ($i in seen) { delete col[$i] }
       else { seen[$i]; col[$i]=i; }
     }
  }
  function finish(  i,x) {
    for(i=1; i<=MAXFIELDS; i++) { counter[i]=1 }
    for (x in col) { a[ counter[col[x]], col[x] ] = x; 
                     maxcounter(counter[col[x]]++); }
    printm(a, MAXCOUNTER, MAXFIELDS)
  }
  BEGIN {OFS=FS}
  NR==1 {print; next;}
  {maxfields(NF); assemble();}
  END { finish(); } '

输出：

List1,List2,List3
1,d,b
,8,c

如何仅保留特定于列的内容？

7 个答案: