如何使用MARPA解析/识别大表达式中的双引号字符串:R2 perl

时间:2018-03-22 00:02:01

标签: regex perl marpa

从大表达式解析/识别双引号字符串时出现问题。

use strict;
use Marpa::R2;
use Data::Dumper;

my $grammar = Marpa::R2::Scanless::G->new({
    default_action => '[values]',
    source => \(<<'END_OF_SOURCE'),

:start ::= expression

expression ::= expression OP expression
expression ::= expression COMMA expression
expression ::= func LPAREN PARAM RPAREN
expression ::= PARAM
PARAM ::= STRING | REGEX_STRING

:discard    ~ sp
sp          ~ [\s]+

COMMA                      ~ [,]
STRING                     ~ [^ \/\(\),&:\"~]+
REGEX_STRING               ~ yet to identify
OP                         ~ ' - ' | '&'
LPAREN                     ~ '('
RPAREN                     ~ ')'
func                       ~ 'func'

END_OF_SOURCE
});

my $recce = Marpa::R2::Scanless::R->new({grammar => $grammar});

my $input1 = "func(foo)&func(bar)"; - &gt;能够通过将foo和bar解析为STRING LEXEME来正确解析它。

my $input2 = "\"foo\""; - &gt;在这里,我想将foo解析为regex_string LEXEME。 REGEX_STRING是用双引号括起来的东西。

my $input3 = "func(\"foo\") - func(\"bar\")"; - &gt;这里,func应该被视为func LEXEME,(应该是LPAREN,)应该是RPAREN,foo是REGEX_STRING, - 作为OP,对于func(\“bar \”)

是相同的

my $input4 = "func(\"foo\")"; - &gt;这里,func应该被视为func LEXEME,(应该是LPAREN)应该是RPAREN,foo是REGEX_STRING

print "Trying to parse:\n$input\n\n";
$recce->read(\$input);
my $value_ref = ${$recce->value};
print "Output:\n".Dumper($value_ref);

我尝试了什么:  第一种方法: 我的REGEX_STRING应该是:REGEX_STRING -> ~ '\"([^:]*?)\"'

如果我尝试将REGEX_STRING放在输入表达式为my $input4 = "func(\"foo\")";的代码中,我会收到如下错误:

SLIF分析错误:第1行第5列没有找到词汇 *错误前的字符串:func( *错误发生在第1行,第5列,以及字符0x0022'“',... *这里:“foo”) Marpa :: R2异常

第二种方法:

尝试包括如下规则:

PARAM ::= STRING | REGEX_STRING
REGEX_STRING ::= '"' QUOTED_STRING '"'

STRING ~ [^ \/\(\),&:\"~]+
QUOTED_STRING ~ [^ ,&:\"~]+

这里的问题是 - &gt;输入使用:

my $input4 = "func(\"foo\")";

所以,这里它给出了错误,因为现在有两种方法可以解析这个表达式,或者是双引号之间的全部内容,即func(\“foo \”) 被视为QUOTED_STRING或func应被视为函数LEXEME等。

请帮我解决这个问题。

2 个答案:

答案 0 :(得分:1)

use 5.026;
use strictures;
use Data::Dumper qw(Dumper);
use Marpa::R2 qw();

my $grammar = Marpa::R2::Scanless::G->new({
    bless_package => 'parsetree',
    source        => \<<'',
:default ::= action => [values] bless => ::lhs
lexeme default = bless => ::name latm => 1
:start ::= expression
expression ::= expression OP expression
expression ::= expression COMMA expression
expression ::= func LPAREN PARAM RPAREN
expression ::= PARAM
PARAM ::= STRING | REGEXSTRING
:discard    ~ sp
sp          ~ [\s]+
COMMA           ~ [,]
STRING          ~ [^ \/\(\),&:\"~]+
REGEXSTRING     ::= '"' QUOTEDSTRING '"'
QUOTEDSTRING    ~ [^ ,&:\"~]+
OP              ~ ' - ' | '&'
LPAREN          ~ '('
RPAREN          ~ ')'
func            ~ 'func'

});
# say $grammar->show_rules;

for my $input (
    'func(foo)&func(bar)', '"foo"', 'func("foo") - func("bar")', 'func("foo")'
) {
    my $r = Marpa::R2::Scanless::R->new({
        grammar => $grammar,
#         trace_terminals => 1
    });
    $r->read(\$input);
    say "# $input";
    say Dumper $r->value;
}

答案 1 :(得分:0)

发布的第二个方法对我有用。我只需要包括:

lexeme default = latm => 1

在我的代码中。