Question

我是ANTLR的新手，我正在尝试使用C语言目标（antler3C）编写一个简单的解析器。语法很简单，我想让每个规则返回一个值，例如：

number returns [long value]
 :
 ( INT {$value = $INT.ivalue;}
 | HEX {$value = $HEX.hvalue;}
 ) 
 ; 

HEX returns [long hvalue] 
    : '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F')+  {$hvalue = strtol((char*)$text->chars,NULL,16);}
    ;

INT returns [long ivalue] 
    : '0'..'9'+    {$ivalue = strtol((char*)$text->chars,NULL,10);}
    ;

每个规则收集它的子规则的返回值，直到最顶层的规则返回一个充满我的数据的漂亮结构。

据我所知，ANTLR允许词法规则（令牌，例如'INT'和'HEX'）返回值，就像解析器规则一样（例如'number'）。但是，生成的C代码将无法编译：

error C2228: left of '.ivalue' must have class/struct/union
error C2228: left of '.hvalue' must have class/struct/union

我做了一些探讨，错误是有道理的 - 令牌最终成为通用的ANTLR3_COMMON_TOKEN_struct，它不允许返回值。所以也许C目标不支持这个功能。但就像我说的那样，我是新手，在我开始寻找另一种方法之前，我想确认一下我不能这样做。

所以问题是：'antler3C是否支持lexer规则的返回值，如果是，那么使用它们的正确方法是什么？'

Answer 1

不是真的有任何新信息，只是关于@bemace已经提到过的一些细节。

不，词法分析器规则不能有返回值。请参阅The Definitive ANTLR reference中的 4.3规则：

规则参数和返回值

就像函数调用一样，ANTLR解析器和树解析器规则也可以   参数和返回值。 ANTLR词法分析器规则不能返回   值[...]

有两种选择：

选项1

您可以在解析器规则long中转换为number：

number returns [long value]
  :  INT {$value = Long.parseLong($INT.text);}
  |  HEX {$value = Long.parseLong($HEX.text.substring(2), 16);}
  ;

选项2

或创建自己的令牌，例如toLong(): long方法：

import org.antlr.runtime.*;

public class YourToken extends CommonToken {

  public YourToken(CharStream input, int type, int channel, int start, int stop) {
    super(input, type, channel, start, stop);
  }

  // your custom method
  public long toLong() {
    String text = super.getText();
    int radix = text.startsWith("0x") ? 16 : 10;
    if(radix == 16) text = text.substring(2);
    return Long.parseLong(text, radix);
  }
}

并在语法的options {...}标头中定义以使用此标记并覆盖lexer类中的emit(): Token方法：

grammar Foo;

options{
  TokenLabelType=YourToken;
}

@lexer::members {
  public Token emit() {
    YourToken t = new YourToken(input, state.type, state.channel, 
        state.tokenStartCharIndex, getCharIndex()-1);
    t.setLine(state.tokenStartLine);
    t.setText(state.text);
    t.setCharPositionInLine(state.tokenStartCharPositionInLine);
    emit(t);
    return t;
  }
}

parse
  :  number {System.out.println("parsed: "+$number.value);} EOF
  ;

number returns [long value]
  :  INT {$value = $INT.toLong();}
  |  HEX {$value = $HEX.toLong();}
  ;

HEX
  :  '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F')+
  ;

INT
  :  '0'..'9'+
  ;

生成解析器和词法分析器时，运行此测试类：

import org.antlr.runtime.*;
import java.io.*;

public class Main {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("0xCafE");
        FooLexer lexer = new FooLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        FooParser parser = new FooParser(tokens);
        parser.parse();
    }
}

它将产生以下输出：

parsed: 51966

在您的情况下，第一个选项似乎更实用。

请注意，正如您所看到的，给出的示例是Java。我不知道C目标/运行时是否支持选项2。我决定发布它，以便能够将其作为SO的未来参考。

Answer 2

Lexer规则必须返回Token对象，因为这是Parser期望使用的。可能有一种方法可以自定义使用的令牌对象的类型，但是将标记转换为最低级别解析器规则中的值会更容易。

social_title returns [Name.Title title]
 : SIR { title = Name.Title.SIR; }
 | 'Dame' { title = Name.Title.DAME; }
 | MR { title = Name.Title.MR; }
 | MS { title = Name.Title.MS; }
 | 'Miss' { title = Name.Title.MISS; }
 | MRS { title = Name.Title.MRS; };

Answer 3

还有第三种选择：您可以将对象作为参数传递给词法分析器规则。该对象包含表示词法分析器返回值的成员。在词法分析器规则中，您可以设置该成员。在词法分析器规则之外，在您调用它的时候，您可以获得该成员并使用此“返回值”执行任何操作。这种参数传递方式对应于Pascal中的'var'参数或C ++和其他编程语言中的'out'参数。

令牌在ANTLR 3 C中返回值

3 个答案:

规则参数和返回值

选项1

选项2