我正在尝试根据第二个文件中的值有条件地过滤文件。 File1包含数字,而File2包含两列数字。问题是要过滤掉file1中那些属于file2每行所表示范围的行。
我有一系列有效的循环,但是需要两个小时才能运行,具体取决于两个文件的长度。该代码如下所示。另外,我尝试使用awk,并查看了在松弛溢出上发布的其他问题,但是我不知道如何适当地更改代码。
循环方法:
while IFS= read READ
do
position=$(echo $READ | awk '{print $4}')
while IFS= read BED
do
St=$(echo $BED | awk '{print $2}')
En=$(echo $BED | awk '{print $3}')
if (($position < "$St"))
then
break
else
if (($position >= "$St" && $position <= "$En"));
then
echo "$READ" | awk '{print $0"\t EXON"}' >> outputfile
fi
fi
done < file2
done < file1
存在类似问题的博客:
awk: filter a file with another file
awk 'NR==FNR{a[$1];next} !($2 in a)' d3_tmp FS="[ \t=]" m2p_tmp
Find content of one file from another file in UNIX
awk -v FS="[ =]" 'NR==FNR{rows[$1]++;next}(substr($NF,1,length($NF)-1) in rows)' File1 File2
文件1 :(制表符分隔)
AAA BBB 1500
CCC DDD 2500
EEE FFF 2000
file2 :(制表符分隔)
GGG 1250 1750
HHH 1950 2300
III 2600 2700
预期的输出将保留file1(在新文件中,file3)中的第1行和第3行,因为这些记录属于file2的第1行第2列和第3列,以及第2行第2列和第3列的范围。在实际文件中,它们不受行限制,即,我不想查看file1的row1并与file2的row1比较,而是将row1与file2中的所有行进行比较以获得匹配。
file3(输出)
AAA BBB 1500
EEE FFF 2000
答案 0 :(得分:1)
一种方法:
awk 'NR==FNR{a[i]=$2;b[i++]=$3;next}{for(j=0;j<i;j++){if ($3>=a[j] && $3<=b[j]){print;}}}' i=0 file2 file1
AAA BBB 1500
EEE FFF 2000
读取file2
的内容并将其存储在数组a
和b
中。读取file1
后,检查数字是否在整个a
和b
数组之间并打印。
另一个选择:
$ awk 'NR==FNR{for(i=$2;i<=$3;i++)a[i];next}($3 in a)' file2 file1
AAA BBB 1500
EEE FFF 2000
读取 File2
并将整个数字范围分解并存储到关联数组a
中。当我们读取file1
时,我们只需要查找数组a
。
答案 1 :(得分:0)
另一个awk。取决于文件大小,它可能有意义也可能没有意义:
$ awk '
NR==FNR {
a[$3]=$2 # hash file2 records, $3 is key, $2 value
next
}
{
for(i in a) # for each record in file1 go thru ever element in a
if($3<=i && $3>=a[i]) { # if it falls between
print # output
break # exit loop once match found
}
}' file2 file1
输出:
AAA BBB 1500
EEE FFF 2000