Question

我想为一种简单的语言定义语法。

该语言允许某种分配。

实施例

keyworda: this is the 1 keyword-A
keywordb: this is the second keywordb
...

问题是，在关键字和':'之后应该可以使用任何字符（关键字也是）

我尝试了很多东西，但我认为我仍然没有考虑到词法分析器和解析器......

我的最后一个想法失败了：

rule 
  :  'keyworda' ':' anychar* 'keywordb' ':' anychar* EOF 
  ;

anychar
  :  .
  ;

NEWLINE
  :  ('\r'? '\n') {$channel=HIDDEN;}
  ;

修改

首先：感谢您的回答！

我通读了手册并查看了scott stanchfield的教程。

问题是，我没有得到“anychar”的东西！

你是对的，我上面提到的语法错了，因为我很着急。

这是一个更好的尝试。问题仍然是，Tokenizer识别出例如定义ala

中的keyworda

keyworda : this is keyworda.
keywordb : this is another key!
...

语法：

rule
    :   KEYA ':' STRING_LITERAL* NEWLINE
        keybdefinition*
         EOF
    ;

keybdefinition
    :   KEYB ':' STRING_LITERAL* NEWLINE
    ;


KEYA: 'keyworda';
KEYB:'keywordb';
STRING_LITERAL: 'a'..'z' | 'A'..'Z' | '0'..'9' | ':' | '.' | '&' | '/' | '\\' | ';';

NEWLINE: '\r'? | '\n'; 
SPACE:  (' ' | '\t') {$channel=HIDDEN;};

编辑II

噢，天哪，按你解释的方式做这件事显然很安静。不知道为什么我自己没有得到它！非常感谢蒂姆的解释！

我还剩下一个问题：如果我为词法分析器定义我的标记，为解析器定义我的语法。它是检查树解析器或解析器本身中语义的常用方法吗？

例如，我们假设我的语法与您发布的语法相同。

keyworda : ab
keywordb : xy
keyworda : ab1
keywordb : xy1
...

现在我想检查每个关键字定义后是否定义了关键字b。后来我确实想检查一下这个值是否正确。让我们假设我们有一个关键字extends：'keyword value'，我需要检查'关键字值'是否已经定义。

我可以用两种方式做到这一点：首先，改变解析器的语法规则，并在那里添加用于检查的java代码。其次，语法保持不变，我定义了一个树解析器语法来检查这些条件。

我真的不知道哪种方式更好，哪种优缺点是什么......

非常感谢你的帮助

Answer 1

.在词法分析器和解析器规则中有不同的含义。在词法分析器规则中，它匹配范围\u000 ... \uFFFF中的任何字符。在解析器规则中，.匹配任何令牌。

请注意，词法分析器规则以大写字母开头，而解析器规则以小写字母开头。您还可以在解析器规则中创建标记（词法分析器规则）作为文字。这意味着你的语法只会创建4个不同的标记（真的是3个，因为NEWLINE是“隐藏的”）：

'keyworda'
':'
'keywordb'
NEWLINE（已从默认令牌流中删除）

（EOF是内置令牌）

因此，这会使您的anychar规则与'keyworda'，':'或'keywordb'匹配，而不会像您预期的那样匹配任何字符。

此外，您似乎是通过换行符将 key ':' value 条目分开，但是您在lexing-phase期间删除了换行符。通过删除它们，您应该如何知道value的结尾是什么以及key的开头是什么？您的令牌流将是关键字，任何字符和冒号的连续流，因此无法判断关键字何时确实是关键字，或value的一部分（':'的右侧）。你需要一个换行令牌。

看起来你已经开始使用ANTLR而不知道你在做什么：IMO，这不是学习这个特定工具的方法。我建议您在继续之前获取The Definitive ANTLR Reference的副本或阅读/查看某些ANTLR tutorials。

祝你好运！

修改

以下是如何让关键字也成为“价值”的一部分的快速演示：

档案：T.g

grammar T;

parse
  :  line+ EOF
  ;

line
  :  key COLON value eol 
     {System.out.printf("key='\%s', value='\%s'\n", $key.text, $value.text);}
  ;

value
  :  any_except_newline*
  ;

key
  :  KEYA
  |  KEYB
  ;

any_except_newline
  :  COLON
  |  KEYA
  |  KEYB
  |  WORD
  |  ANYCHAR
  ;

eol
  :  NEWLINE
  |  EOF
  ;

COLON   : ':';
KEYA    : 'keyworda';
KEYB    : 'keywordb';
WORD    : ('a'..'z' | 'A'..'Z')+;
NEWLINE : '\r'? '\n' | '\r';
SPACE   : (' ' | '\t') {$channel=HIDDEN;};
ANYCHAR : .;

file：Main.java

import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    String source = 
        "keyworda : this is keyworda.\n" + 
        "keywordb : this is another key!";
    TLexer lexer = new TLexer(new ANTLRStringStream(source));
    TParser parser = new TParser(new CommonTokenStream(lexer));
    parser.parse();
  }
}

如果您现在运行演示：

java -cp antlr-3.3.jar org.antlr.Tool T.g
javac -cp antlr-3.3.jar *.java
java -cp .:antlr-3.3.jar Main

你会看到以下内容被打印到控制台：

key='keyworda', value='this is keyworda.'
key='keywordb', value='this is another key!'

ANTLR - 允许关键字之间的任何字符

修改

编辑II

1 个答案:

修改

档案：T.g

file：Main.java