Grep特定列,计数和写入输出文件

时间:2015-12-07 07:42:29

标签: awk grep text-processing

我正在尝试总结我的数据并计算特定项目

这些是人类测序数据,因此非常大。

#CHROM  POS   ID    REF  ALT    QUAL    FILTER      INFO          FORMAT                            NORMAL                                          PRIMARY
  1    12867  .     C    A       5  q40;bldp;blq    SS=1;VT=SNP;  GT:DP:AD:BQ:MQ:SB:FA:SS:SSC:MQA   1/0:8:7,1:36,39:0:0.0,0.0:0.125:0:5:14.9,16.0   1/0:2:2,0:33,0:0:0.0,0:0.0:1:5:16.0,0

为简化起见,数据看起来像这样

column1 column2 column3 column4 column5 column6 column7  column8   column9 column10                                         column11
   x      x      x        x       x        x      x       SS=1       x     1/0:8:7,1:36,39:0:0.0,0.0:0.125:0:5:14.9,16.0    1/0:2:2,0:33,0:0:0.0,0:0.0:1:5:16.0,0
   x      x      x        x       x        x      x       SS=2       x     1/0:8:7,1:36,39:0:0.0,0.0:0.125:0:5:14.9,16.0    1/0:2:2,0:33,0:0:0.0,0:0.0:1:5:16.0,0

首先,我需要计算第8列中不同SS的数量。有5种不同类型的SS,即SS = 1 ...... SS = 5。 这可以通过grep命令来完成 我试过了

grep SS=1 file1.vcf | wc -l
grep SS=2 file1.vcf | wc -l

然后我要计算第10列中的“0”,“1”,“2”和第7列之后的位置中的“2”(:)

这是我不知道该怎么做的部分。我正在考虑使用awk,但我不确定如何指定在特定位置寻找(在第7个冒号(:)之后

awk -F ':' '$11==1' #this does command only specifies column but not at specific position.

我有246个文件要完全相同。如何应用我的所有文件并在txt文件中写入计数?我只知道如何一个接一个地做到这一点,也许我最后可以记下计数文件。

for f in *.vcf; do grep SS=1 "$f" | wc -l > ${f}SS1.txt; done

1 个答案:

答案 0 :(得分:2)

要计算第8列中有多少不同的值,您可以使用典型方法:

$ awk -F"\t" 'NR>1{a[$8]++} END{for (i in a) print i,a[i]}' file
SS=1 1
SS=2 1

要计算在: - 第10个和第11个字段中分隔的字符串的第8个位置中有多少个不同的值,您可以使用split()对字符串进行切片。然后,使用与上面相同的方法。

$ awk -F"\t" 'NR>1{split($10,a,":"); split($11,b,":"); count10[a[8]]++; count11[b[8]]++} END {for (i in count10) print i, count10[i]; for (i in count11) print i, count11[i]}' a
0 2
1 2

你可以把所有东西放在一起得到类似的东西:

$ awk -F"\t" 'NR>1{count8[$8]++; split($10,a,":"); split($11,b,":"); count10[a[8]]++; count11[b[8]]++} END {for (i in count8) print i, count8[i]; for (i in count10) print i, count10[i]; for (i in count11) print i, count11[i]}' file
SS=1 1
SS=2 1
0 2
1 2

如果要对许多文件执行此操作,可以使用循环或-better- with FILENAMEENDFILE来刷新存储的信息。试试看,如果你遇到任何问题,请告诉我们。