Question

我想从给定的行数中提取文本的公共部分。输入：

/dir1/dir2/dir3/dir4/a/file1/dir
/dir1/dir2/dir3/dir4/b/file2
/dir1/dir2/dir3/dir4/c/file3/dir
/dir1/dir2/dir3/dir4/a/file4
/dir1/dir2/dir3/dir4/e/file5

预期输出是从dir1到dir4的常见部分。样本预期输出：

/dir1/dir2/dir3/dir4/

到目前为止我尝试过的代码：输入到awk命令然后如下所示的管道

awk '{for(i=1;i<=NF;i++)if($i | sort | uniq -c -ne 1)var = i; break;}

但我无法让这个工作......我知道我可能在逻辑或我对awk命令的理解上出错了。任何人都可以帮忙吗？

Answer 1

此最长公共前缀问题的Perl解决方案

perl -le '@a=<>; $p=$a[0]; for (@a){ chop $p while ! /^\Q$p/ }; print $p' file

从输入文件的行@a构造数组<> $p是最长的前缀，它被初始化为数组$a[0]中的第一个元素循环遍历数组@a的元素前缀$p与! //当前元素的起始^不匹配，chop与最后一个字符不同。
\Q告诉正则表达式引擎忽略任何潜在的元字符最后，打印前缀$p

输出：

/dir1/dir2/dir3/dir4/

使用-n隐式构造循环的替代实现：

perl -lne 'BEGIN{$p = <>}; chop $p while ! /^\Q$p/; END{print $p}' file

使用substr()代替/regex/

的替代实施

perl -lne 'BEGIN{$p=<>} chop $p while $p ne substr($_,0,length($p)); END{print $p}' file

-n遍历文件的每一行 $_包含当前行内容

使用awk的替代实现：

awk 'NR==1{p=$0} {while(p != substr($0,1,length(p))){p=substr(p,1,length(p)-1)}} END{print p}' file

使用Python的替代实现：

#!/usr/bin/python3
import sys
fp = open(sys.argv[1], 'r')
p = fp.readline()
for line in fp:
    while (line.find(p) != 0):
        p = p[:-1]
print(p)

使用C：

的替代实现

#include <stdio.h>
#include <string.h>
#define MAXLINE 1000
int main (int argc, char* argv[]) {
    FILE *fp = fopen(argv[1], "r");
    char p[MAXLINE];
    char line[MAXLINE];
    fgets(line, MAXLINE, fp);
    strcpy(p, line);
    while (fgets(line, MAXLINE, fp)) {
        while ( strstr(line, p) != line  &&  strlen(p) > 0 ) {
            p[strlen(p)-1] = '\0';
        }
    }
    printf("%s\n", p);
}

为了好玩，我使用20MB输入文件和10次运行来对各种解决方案进行基准测试我的perl解决方案列为a，b，c
在perl 5.20和5.22上测试 @ karakfa和我的awk解决方案也列出了，使用awk 3.1.5和gawk 4.1.0
@ balabhi的shell解决方案也列出了 TL; DR：perl substr（）解决方案（c）是脚本语言中最快的，但使用哪种解决方案并不重要

                 Rate awk_karakfa gawk_karakfa perl_5.20_b perl_5.22_b perl_5.22_a perl_5.20_a   awk gawk python_3.4.2 shell_balabhi perl_5.22_c perl_5.20_c    c
awk_karakfa   0.618/s          --         -12%        -46%        -51%        -56%        -58%  -58% -80%         -81%          -82%        -85%        -86% -98%
gawk_karakfa  0.701/s         13%           --        -38%        -44%        -50%        -52%  -52% -77%         -79%          -80%        -83%        -84% -97%
perl_5.20_b    1.14/s         84%          62%          --        -10%        -19%        -22%  -22% -63%         -65%          -67%        -72%        -74% -96%
perl_5.22_b    1.26/s        104%          80%         11%          --        -11%        -13%  -13% -59%         -61%          -63%        -69%        -71% -95%
perl_5.22_a    1.41/s        128%         101%         24%         12%          --         -3%   -3% -55%         -57%          -59%        -65%        -68% -95%
perl_5.20_a    1.46/s        135%         108%         28%         15%          3%          --   -0% -53%         -55%          -58%        -64%        -67% -95%
awk            1.46/s        136%         108%         28%         15%          3%          0%    -- -53%         -55%          -58%        -64%        -67% -95%
gawk           3.11/s        402%         343%        173%        146%        120%        113%  113%   --          -5%          -10%        -23%        -30% -89%
python_3.4.2   3.27/s        428%         366%        187%        159%        131%        125%  124%   5%           --           -5%        -19%        -26% -88%
shell_balabhi  3.45/s        458%         392%        203%        173%        144%        137%  137%  11%           6%            --        -15%        -22% -88%
perl_5.22_c    4.05/s        555%         477%        256%        221%        187%        178%  178%  30%          24%           17%          --         -8% -85%
perl_5.20_c    4.41/s        612%         528%        287%        249%        212%        203%  202%  42%          35%           28%          9%          -- -84%
c              27.8/s       4392%        3861%       2342%       2100%       1867%       1808% 1806% 794%         750%          706%        586%        531%   --

Answer 2

再次提交，因为缩进在最后一个答案中搞砸了。 Bash脚本解决方案。

inf=$1
num=`wc -l $inf | awk '{print $1}'`
echo num=$num    
pfx=`sed -n '1p' $inf`
mat=`grep $pfx $inf | wc -l`
echo mat=$mat    
while [ $mat -ne $num ]    
do
    pfx=`dirname $pfx`/
    mat=`grep $pfx $inf | wc -l`
    echo mat=$mat    
done
echo pfx=$pfx

Answer 3

要求救援！

 awk -F/ 'NR==1{w=split($0,base,FS); next} 
               {for(i=1;i<=w;i++) 
                   if(base[i]!=$i) 
                       {w=i; next}
               } 
            END{for(i=1;i<w;i++) 
                   printf base[i] FS; 
                   print ""
               }' file

描述：从FS分隔的第一行构造一个基本数组，保持大小为w（宽度）。比赛最多可以是w。对于每行比较最多2个字段，直到发生不匹配，更新w。全部完成后打印匹配的字段。

从shell脚本中的行数中提取公共部分文本

3 个答案: