从引用列表中替换文件中的字符串

时间:2016-05-09 13:28:41

标签: bash replace sed

有一些线程似乎在问这个问题,因为我对此感兴趣,但有些答案似乎很难推广(或者我不够聪明)。 e.g。

how to replace strings in file based on values from another file? (example inside)

Replacing strings in file, using patterns from another file

我有一些看起来像这样的复杂文件:

PLT_01696

(如果有人有兴趣,这些是Newick格式的系统发育树)

我需要在此文件中更改所有ID键(看起来像XXX_YYYYY的位),并且不确定最佳方法是什么。

他们需要被他们所属的'group'(操纵子)替换,所以我认为制作各种索引文件是可行的方法,例如,group_1被取代与PLT_01696 group_1 PLT_01736 group_1 PLT_01758 group_1 .... PAU_02074 group_2 说:

密钥文件:

sed

所以我认为如果我可以将文件传递给((group_1:0.06834090301258281819,(((group_1:0.04822932915066913823,group_1:0.08160284537473952438)98:0.04771898687201567291,..... 或某些等效文件,请将其读取并查找第一列中的条目,并将其替换为我在第2列中配对的任何内容这样做的最好方法是什么?该文件最终将包含大约350个单独的密钥,最终将分类到大约12个组。

文件最终会像:

SELECT a.id_in, a.date_in, b.id_out, b.date_out
FROM intable AS a RIGHT JOIN
     outtable AS b
     ON a.id_in = b.id_out

我愿意接受其他建议,这对我来说似乎最为明显。这是在Ubuntu 14.04上,所以任何解决方案都是公平的游戏,但是我对bash(以及一些perl)更加自信。

3 个答案:

答案 0 :(得分:3)

在这种情况下,一种解决方案是编写一个sed脚本来编写您要执行的sed脚本。操作系统似乎前面有(,,后面跟着:。因此,给定您的文件包含映射,例如:

PLT_01736 group_1

然后对于该文件中的每一行,您要创建一个sed操作,如下所示:

s/\([,(]\)PLT_01736:/\1group_1:/g

其中g可能不是必需的(我不知道给定的操纵子是否可以在一行中出现多次)。初始字符类捕获(,\(\)记住它,然后是特定的ID键和冒号;替换操作输出记住的字符,替换文本和冒号。跟踪前后字符的优点是,如果有一些不幸,你有操作符PLT_00100和PLT_001001(其中一个操纵子是另一个操作符的前缀),跟踪周围的字符可确保正确匹配。否则,你必须确保最长的匹配首先出现在脚本中,这是一个fiddlier(sort -r可能会排除,但......)。

因此,假设映射位于文件mapping.data中,您可以使用:

sed 's%\([A-Z]*_[0-9]*\)  *\(.*\)%s/\\([,(]\\)\1:/\\1\2:/g%' mapping.data > script.sed
sed -f script.sed newick.phylogenetic.tree.data > transformed.data

这会在生成%操作中使用s%%%,输出s///(需要小心)。 s%%%的搜索部分查找零个或多个大写字母,下划线和零个或多个数字,使用\(\)捕获该数字;后跟一个或多个空格,然后是其他一些也被捕获的字符。如果ID键可以具有不同的结构,则适当地更改匹配的正则表达式。我假设输入数据是“干净的”,所以不必担心只有三个字母,下划线和五个数字的处理行,并且没有尾随空白。在两个部分(密钥ID和替换)隔离的情况下,只需要生成输出s///命令,记住要加倍必须出现在输出中的反斜杠。

根据您的输入数据和键列表,我得到的输出是:

((group_1:0.06834090301258281819,(((group_1:0.04822932915066913823,PLT_01716:0.08160284537473952438)98:0.04771898687201567291,((group_2:0.04683560272944583408,PAK_01896:0.02826787310445108212)95:0.03010698277052889504,PLT_02424:0.06991513512243620332)99:0.06172493035971356873)90:0.05291396820697712167,((PAK_02014:0.00000187538096058579,PAU_02206:0.00721521619460035492)100:0.43252725913741080221,((PLT_02568:0.06262043352060168988,(PAU_01961:0.02293694470289835488,PAK_01787:0.01049771144617094552)98:0.05833869619359682152)100:0.65266156617675985530,(PAK_03203:0.06403695571262699171,PAU_03392:0.03453883849938884504)99:0.10276841868475847241)2:0.14443958710162313475)10:0.20176450294539299835)9:0.01245548664398392694)92:0.05176685581730120639,(PAK_02606:0.03709141633854080161,PAU_02775:0.01796540370573110335)57:0.01492069367348663675,group_1:0.01562657531699716829);

答案 1 :(得分:2)

我咬了。让我们调用脚本phylo.awk

NR==FNR { pattern[NR] = $1; replacement[NR] = $2; count++; next }
{
    for (i = 1; i <= count; i++) {
        sub(pattern[i], replacement[i])
    }
    print $0
}

然后说:

awk -f phylo.awk patterns data

答案 2 :(得分:0)

#!/bin/bash

while read i;do #enter your loop

 a=$(echo "$i" | cut -d" " -f1) #get what to find
 b=$(echo "$i" | cut -d" " -f2) #get what to replace with

sed -i "s/$a/$b/g" input.txt #find and replace  -i is "in place"

done <ref.txt #define file you're looping through

输入:

((PLT_01736:0.06834090301258281819,(((PLT_01758:0.04822932915066913823,PLT_01716:0.08160284537473952438)98:0.04771898687201567291,((PAU_02074:0.04683560272944583408,PAK_01896:0.02826787310445108212)95:0.03010698277052889504,PLT_02424:0.06991513512243620332)99:0.06172493035971356873)90:0.05291396820697712167,((PAK_02014:0.00000187538096058579,PAU_02206:0.00721521619460035492)100:0.43252725913741080221,((PLT_02568:0.06262043352060168988,(PAU_01961:0.02293694470289835488,PAK_01787:0.01049771144617094552)98:0.05833869619359682152)100:0.65266156617675985530,(PAK_03203:0.06403695571262699171,PAU_03392:0.03453883849938884504)99:0.10276841868475847241)2:0.14443958710162313475)10:0.20176450294539299835)9:0.01245548664398392694)92:0.05176685581730120639,(PAK_02606:0.03709141633854080161,PAU_02775:0.01796540370573110335)57:0.01492069367348663675,PLT_01696:0.01562657531699716829);

REF:

PLT_01696 group_1
PLT_01736 group_1
PLT_01758 group_1
PAU_02074 group_2

输出:

((group_1:0.06834090301258281819,(((group_1:0.04822932915066913823,PLT_01716:0.08160284537473952438)98:0.04771898687201567291,((group_2:0.04683560272944583408,PAK_01896:0.02826787310445108212)95:0.03010698277052889504,PLT_02424:0.06991513512243620332)99:0.06172493035971356873)90:0.05291396820697712167,((PAK_02014:0.00000187538096058579,PAU_02206:0.00721521619460035492)100:0.43252725913741080221,((PLT_02568:0.06262043352060168988,(PAU_01961:0.02293694470289835488,PAK_01787:0.01049771144617094552)98:0.05833869619359682152)100:0.65266156617675985530,(PAK_03203:0.06403695571262699171,PAU_03392:0.03453883849938884504)99:0.10276841868475847241)2:0.14443958710162313475)10:0.20176450294539299835)9:0.01245548664398392694)92:0.05176685581730120639,(PAK_02606:0.03709141633854080161,PAU_02775:0.01796540370573110335)57:0.01492069367348663675,group_1:0.01562657531699716829);