Antlr解析匹配的固定字符串长度而不是规则

时间:2012-05-13 09:53:59

标签: parsing antlr

下面是解析输入程序集文件的语法的简化版本。我的语法中的一切都很好,直到我使用具有3个字符的标签(即我的语法中的OPCODE长度相同),所以我假设Antlr将其匹配为OPCODE而不是LABEL,但我怎么说“in这个位置,应该是LABEL,而不是OPCODE“?

试用输入:

set a, label1
set b, abc

标准装备的输出给出:

line 2:5 missing EOF at ','
(OP_BAS set a (REF label1)) (OP_SPE set b)

当我通过ANTLRWorks进行调试时,我看到它从指令规则2开始,但在引用“abc”时跳转到规则3然后在“,”失败。

我可以通过大量的左保理来解决这个问题,但它会使语法难以置信。我试图在可读性和功能性之间找到妥协(没有那么多输入,全局回溯对性能的影响)。

grammar TestLabel;

options {
    language = Java;
    output = AST;
    ASTLabelType = CommonTree;
    backtrack = true;
}

tokens {
    NEGATION;
    OP_BAS;
    OP_SPE;
    OP_CMD;
    REF;
    DEF;
}

program
    : instruction* EOF!
    ;

instruction
    : LABELDEF                  -> ^(DEF LABELDEF)
    | OPCODE dst_op ',' src_op  -> ^(OP_BAS OPCODE dst_op src_op)
    | OPCODE src_op             -> ^(OP_SPE OPCODE src_op)
    | OPCODE                    -> ^(OP_CMD OPCODE)
    ;

operand
    : REG
    | LABEL                     -> ^(REF LABEL)
    | expr
    ;

dst_op
    : PUSH
    | operand
    ;

src_op
    : POP
    | operand
    ;

term
    : '('! expr ')'!
    | literal
    ;

unary
    : ('+'! | negation^ )* term
    ;

negation
    : '-' -> NEGATION
    ;

mult
    : unary ( ( '*'^ | '/'^ ) unary )*
    ;

expr
    :  mult ( ( '+'^ | '-'^ ) mult )*
    ;

literal
    :   number
    |   CHAR
    ;

number
    :   HEX
    |   BIN
    |   DECIMAL
    ;

REG: ('A'..'C'|'I'..'J'|'X'..'Z'|'a'..'c'|'i'..'j'|'x'..'z') ;
OPCODE: LETTER LETTER LETTER;

HEX: '0x' ( 'a'..'f' | 'A'..'F' | DIGIT )+ ;
BIN: '0b' ('0'|'1')+;
DECIMAL: DIGIT+ ;

LABEL: ( '.' | LETTER | DIGIT | '_' )+ ;
LABELDEF: ':' ( '.' | LETTER | DIGIT | '_' )+ {setText(getText().substring(1));} ;

STRING: '\"' .* '\"' {setText(getText().substring(1, getText().length()-1));} ;
CHAR: '\'' . '\'' {setText(getText().substring(1, 2));} ;
WS: (' ' | '\n' | '\r' | '\t' | '\f')+ { $channel = HIDDEN; } ;

fragment LETTER: ('a'..'z'|'A'..'Z') ;
fragment DIGIT: '0'..'9' ;
fragment PUSH: ('P'|'p')('U'|'u')('S'|'s')('H'|'h');
fragment POP: ('P'|'p')('O'|'o')('P'|'p');

1 个答案:

答案 0 :(得分:2)

解析器对词法分析器产生的标记没有影响。因此,无论解析器尝试匹配什么,输入"abc"将始终标记为OPCODE

您可以做的是创建与labelLABEL匹配的OPCODE解析器规则,然后在label规则中使用此operand规则:

label
 : LABEL
 | OPCODE
 ;

operand
 : REG
 | label -> ^(REF label)
 | expr
 ;

为您的示例输入生成以下AST:

enter image description here

这只会匹配OPCODE,但不会更改令牌的类型。如果您还希望更改类型,请将一些自定义代码添加到将其更改为LABEL类型的规则:

label
 : LABEL
 | t=OPCODE {$t.setType(LABEL);}
 ;