使用sed或awk删除两个模式之间的所有行(不包括模式)

时间:2012-01-14 00:50:11

标签: regex sed awk

我有一个稍大的输出文本文件,我需要删除两个模式之间的所有行但保留模式匹配。

文件看起来像以下输出一样模糊。

 TEST #1          
      coef1 |   48.36895    3.32013    14.57   0.000     41.86141    54.87649
      coef2 |  -50.08894   10.47335    -4.78   0.000    -70.61697   -29.56092
            |
  indicator |
         0  |   .6647992   2.646627     0.25   0.802     -4.55925    5.888849
         1  |   2.118701   5.225777     0.41   0.686     -8.19621    12.43361
            |
       year |
         2  |  -.4324005   2.231387    -0.19   0.847    -4.836829    3.972028
         3  |   -.362762    1.97184    -0.18   0.854    -4.254882    3.529358
            |
      _cons |   16.95753   6.342342     2.67   0.008     4.526383    29.38869
 TEST #2          
        coef2 |   48.36895    3.32013    14.57   0.000     41.86141    54.87649
        coef3 |  -50.08894   10.47335    -4.78   0.000    -70.61697   -29.56092
              |
         year |
           4  |   .6647992   2.646627     0.25   0.802     -4.55925    5.888849
           5  |   2.118701   5.225777     0.41   0.686     -8.19621    12.43361
              |
     idnumber |
           6  |  -.4324005   2.231387    -0.19   0.847    -4.836829    3.972028
           7  |   -.362762    1.97184    -0.18   0.854    -4.254882    3.529358
              |
        _cons |   16.95753   6.342342     2.67   0.008     4.526383    29.38869

我需要输出以下输出并删除“year”和“_cons”之间的所有行,但我需要保留以“_cons”开头的行。所需的输出如下:

 TEST #1          
      coef1 |   48.36895    3.32013    14.57   0.000     41.86141    54.87649
      coef2 |  -50.08894   10.47335    -4.78   0.000    -70.61697   -29.56092
            |
  indicator |
         0  |   .6647992   2.646627     0.25   0.802     -4.55925    5.888849
         1  |   2.118701   5.225777     0.41   0.686     -8.19621    12.43361
            |
       year |
      _cons |   16.95753   6.342342     2.67   0.008     4.526383    29.38869
 TEST #2          
        coef2 |   48.36895    3.32013    14.57   0.000     41.86141    54.87649
        coef3 |  -50.08894   10.47335    -4.78   0.000    -70.61697   -29.56092
              |
         year |
        _cons |   16.95753   6.342342     2.67   0.008     4.526383    29.38869

我编写了以下脚本(在OS X下):

sed '/^ +year/,/^ +_cons/{/^ +year/!{/^ +_cons/!d}}' input.txt >output.txt

但我收到以下错误:

sed: 1: "/^ +year/,/^ +_cons/{/^ ...": extra characters at the end of d command

我不确定这种方法是否正确,因为我似乎无法执行sed。在这里是否合适或者我应该使用awk吗?

最后一点,我需要这个脚本来处理相对通用的Unix安装。我必须将此发送给必须在非常基本的AIX(我认为)安装下执行它的人。没有perl,没有python,我无法通过电子邮件对其安装进行太多故障排除。

5 个答案:

答案 0 :(得分:6)

这应该有效 -

awk '/year/{print; getline; while($0!~/_cons/) {getline}}1' INPUT_FILE

awk '/_cons/{print;f=0;next}/year/{f=1;print;next}f{next}1' INPUT_FILE

以下是您输入数据文件的输出:

[jaypal:~/Temp] awk '/year/{print; getline; while($0!~/_cons/) {getline}}1' file
TEST #1          
      coef1 |   48.36895    3.32013    14.57   0.000     41.86141    54.87649
      coef2 |  -50.08894   10.47335    -4.78   0.000    -70.61697   -29.56092
            |
  indicator |
         0  |   .6647992   2.646627     0.25   0.802     -4.55925    5.888849
         1  |   2.118701   5.225777     0.41   0.686     -8.19621    12.43361
            |
       year |
      _cons |   16.95753   6.342342     2.67   0.008     4.526383    29.38869
 TEST #2          
        coef2 |   48.36895    3.32013    14.57   0.000     41.86141    54.87649
        coef3 |  -50.08894   10.47335    -4.78   0.000    -70.61697   -29.56092
              |
         year |
        _cons |   16.95753   6.342342     2.67   0.008     4.526383    29.38869

的Test2:

[jaypal:~/Temp] awk '/_cons/{print;f=0;next}/year/{f=1;print;next}f{next}1' file
TEST #1          
      coef1 |   48.36895    3.32013    14.57   0.000     41.86141    54.87649
      coef2 |  -50.08894   10.47335    -4.78   0.000    -70.61697   -29.56092
            |
  indicator |
         0  |   .6647992   2.646627     0.25   0.802     -4.55925    5.888849
         1  |   2.118701   5.225777     0.41   0.686     -8.19621    12.43361
            |
       year |
      _cons |   16.95753   6.342342     2.67   0.008     4.526383    29.38869
TEST #2          
      coef2 |   48.36895    3.32013    14.57   0.000     41.86141    54.87649
      coef3 |  -50.08894   10.47335    -4.78   0.000    -70.61697   -29.56092
            |
       year |
      _cons |   16.95753   6.342342     2.67   0.008     4.526383    29.38869

答案 1 :(得分:3)

尝试在d之后添加分号以指示命令已结束。 (GNU sed - 我唯一能够测试的sed - 不需要这个,但可能是另一个sed吗?)

此外,如果您需要支持sed的多个实现,那么您不能使用+来表示“一个或多个”:它不是标准的,并非所有实现都支持它。您可以使用\{1,\},但这非常难看。 。 。我只是使用*并添加额外的副本。

所以:

sed '/^ * year/,/^ * _cons/{/^ * year/!{/^ * _cons/!d;}}' input.txt >output.txt

(经过测试,但只使用GNU sed,而不是OS X,当然也不是AIX,抱歉。)

答案 2 :(得分:2)

这可能对您有用:

 sed '/year/,/_cons/{//!d}' file

或:

 awk '/_cons/{p=0};!p;/year/{p=1}' file

答案 3 :(得分:1)

你可以直观地做。 只需使用 gVim 打开文件,然后运行命令:

:g/^\s*year/+1,/^\s*_cons/-1 d

说明:

  • g 全局命令
  • /^\s*year/+1 匹配行号year
  • /^\s*_cons/-1 匹配_cons
  • 以上的行
  • d 删除范围

答案 4 :(得分:0)

总结和概括两个有效的GNU sed解决方案:

sed '/BEGIN/,/END/{/BEGIN/!{/END/!d;}}' input.txt
sed '/BEGIN/,/END/{//!d}' input.txt