标识符标记关键字antlr解析器

时间:2010-04-27 16:40:47

标签: parsing antlr token keyword identifier

如何处理令牌'for'用于解析语言的两种不同情况?如声明和作为“参数”如下例:

echo for print example
for i in {0..10..2}
  do
     echo "Welcome $i times"
 done

输出:

for print example
Welcome 0 times
Welcome 2 times
Welcome 4 times
Welcome 6 times
Welcome 8 times
Welcome 10 times

感谢。

3 个答案:

答案 0 :(得分:1)

我看到你如何做到这一点的唯一方法是在你的词法分析器语法中定义一个Echo规则,该规则匹配字符echo,后跟除\r之外的所有其他字符和\n

Echo
  :  'echo' ~('\r' | '\n')+
  ;

并确保规则 之前 与标识符和关键字匹配的规则(例如for)。

可能开始的快速演示将是:

grammar Test;

parse
  :  (echo | for)*
  ;

echo
  :  Echo (NewLine | EOF)
  ;

for 
  :  For Identifier In range NewLine
     Do NewLine
     echo
     Done (NewLine | EOF)
  ;

range
  :  '{' Integer '..' Integer ('..' Integer)? '}'
  ;

Echo
  :  'echo' ~('\r' | '\n')+
  ;

For  : 'for';
In   : 'in';
Do   : 'do';
Done : 'done';

Identifier
  :  ('a'..'z' | 'A'..'Z' | '_') ('a'..'z' | 'A'..'Z' | '_' | '0'..'9')*
  ;

Integer
  :  '0'..'9'+
  ;

NewLine
  :  '\r' '\n'
  |  '\n'
  |  '\r'
  ;

Space
  :  (' ' | '\t') {skip();}
  ;

如果您要解析输入:

echo for print example
for i in {0..10..2}
do
  echo "Welcome $i times"
done
echo the end for now!

用它,它看起来像:

alt text http://img571.imageshack.us/img571/5713/grammar.png

(我不得不稍微旋转图像,否则它根本不可见!)

HTH。

答案 1 :(得分:0)

嗯,这很容易,大多数语法使用这样的东西:

TOKEN_REF
    :   'A'..'Z' ('a'..'z'|'A'..'Z'|'_'|'0'..'9')*
    ;

因此,在引用print语句时,您会执行以下操作:

'print' (TOKEN_REF)*

使用for语句,你只需表达'for',例如:

'for' INT 'in' SOMETHING

答案 2 :(得分:0)

为了做到这一点,你需要使用一个语义谓词,只有当它真正是for关键字时才会使用该词法规则。

详细信息可在ANTLR维基上的keywords as identifiers页面上找到。