如何使用Perl从HTML中删除外部链接?

时间:2009-10-21 00:12:52

标签: html perl

我正在尝试从HTML文档中删除外部链接但保留锚点,但我没有太多运气。以下正则表达式

$html =~ s/<a href=".+?\.htm">(.+?)<\/a>/$1/sig;

将匹配锚标记的开头和外部链接标记的结尾,例如

<a HREF="#FN1" name="01">1</a>
some other html
<a href="155.htm">No. 155
</a> <!-- end tag not necessarily on the same line -->

所以我什么都没有,而不是

<a HREF="#FN1" name="01">1</a>
some other html

恰好所有锚点的href属性都是大写的,所以我知道我可以做一个区分大小写的匹配,但我不想再依赖它了。

我可以更改的内容是否只匹配a个标签?

5 个答案:

答案 0 :(得分:11)

回应Chris Lutz的评论,我希望以下表明使用解析器非常简单(特别是如果你希望能够处理你还没有看过的输入,例如<a class="external" href="...">)而不是使用s///将脆弱的解决方案整合在一起。

如果您要采用s///路线,至少说实话,请依靠href属性全部为大写,而不是表现出灵活性的错觉。

编辑:根据热门需求;-),这是使用HTML::TokeParser::Simple的版本。仅使用HTML::TokeParser查看版本的修改历史记录。

#!/usr/bin/perl

use strict; use warnings;
use HTML::TokeParser::Simple;

my $parser = HTML::TokeParser::Simple->new(\*DATA);

while ( my $token = $parser->get_token ) {
    if ($token->is_start_tag('a')) {
        my $href = $token->get_attr('href');
        if (defined $href and $href !~ /^#/) {
            print $parser->get_trimmed_text('/a');
            $parser->get_token; # discard </a>
            next;
        }
    }
    print $token->as_is;
}

__DATA__
<a HREF="#FN1" name="01">1</a>
some other html
<a href="155.htm">No. 155
</a> <!-- end tag not necessarily on the same line -->
<a class="external" href="http://example.com">An example you
might not have considered</a>

<p>Maybe you did not consider <a
href="test.html">click here >>></a>
either</p>

输出:

C:\Temp> hjk
<a HREF="#FN1" name="01">1</a>
some other html
No. 155 <!-- end tag not necessarily on the same line -->
An example you might not have considered

<p>Maybe you did not consider click here >>>
either</p>

注意:如果链接到的文件具有.html扩展名而不是.htm,那么您选中的“正确”解决方案会中断。鉴于此,我发现您关注的是不依赖于大写HREF属性是没有根据的。 如果你真的想要快速和肮脏,你不应该为其他任何事情而烦恼,你应该依赖全部大写HREF并完成它。但是,如果您希望确保代码可以使用更多种类的文档并且更长时间,则应使用正确的解析器。

答案 1 :(得分:6)

有点像SAX类型解析器HTML::Parser

use strict;
use warnings;

use English qw<$OS_ERROR>;
use HTML::Parser;
use List::Util qw<first>;

my $omitted;

sub tag_handler { 
    my ( $self, $tag_name, $text, $attr_hashref ) = @_;
    if ( $tag_name eq 'a' ) { 
        my $href = first {; defined } @$attr_hashref{ qw<href HREF> };
        $omitted = substr( $href, 0, 7 ) eq 'http://';
        return if $omitted;
    }
    print $text;
}

sub end_handler { 
    my $tag_name = shift;
    if ( $tag_name eq 'a' && $omitted ) { 
        $omitted = false;
        return;
    }
    print shift;
}

my $parser
    = HTML::Parser->new( api_version => 3
                       , default_h   => [ sub { print shift; }, 'text' ]
                       , start_h     => [ \&tag_handler, 'self,tagname,text,attr' ]
                       , end_h       => [ \&end_handler, 'tagname,text' ]
                       );
$parser->parse_file( $path_to_file ) or die $OS_ERROR;

答案 2 :(得分:1)

另一个解决方案。我喜欢HTML::TreeBuilder和家人。

#!/usr/bin/perl
use strict;
use warnings;
use HTML::TreeBuilder;

my $root = HTML::TreeBuilder->new_from_file(\*DATA);
foreach my $a ($root->find_by_tag_name('a')) {
    if ($a->attr('href') !~ /^#/) {
        $a->replace_with_content($a->as_text);
    }
}
print $root->as_HTML(undef, "\t");

__DATA__
<a HREF="#FN1" name="01">1</a>
some other html
<a href="155.htm">No. 155
</a> <!-- end tag not necessarily on the same line -->
<a class="external" href="http://example.com">An example you
might not have considered</a>

<p>Maybe you did not consider <a
href="test.html">click here >>></a>
either</p>

答案 3 :(得分:0)

为什么不只删除href属性不以井号开头的链接?像这样:

html =~ s/<a href="[^#][^"]*?">(.+?)<\/a>/$1/sig;

答案 4 :(得分:0)

更简单,如果你不关心标签属性:

$html =~ s/<a[^>]+>(.+?)<\/a>/$1/sig;