Question

我需要一点指导来编写一个语法来解析游戏永恒之塔的日志文件。我决定使用Antlr3（因为它似乎是一个可以完成工作的工具，我认为学会使用它对我有好处）。但是，我遇到了问题，因为日志文件的结构不完整。

我需要解析的日志文件如下所示：

2010.04.27 22:32:22 : You changed the connection status to Online. 
2010.04.27 22:32:22 : You changed the group to the Solo state. 
2010.04.27 22:32:22 : You changed the group to the Solo state. 
2010.04.27 22:32:28 : Legion Message: www.xxxxxxxx.com (forum)



ventrillo: 19x.xxx.xxx.xxx

Port: 3712

Pass: xxxx (blabla) 

 4/27/2010 7:47 PM 
2010.04.27 22:32:28 : You have item(s) left to settle in the sales agency window.

如您所见，大多数行以时间戳开头，但也有例外。我想在Antlr3中做的是编写一个解析器，它只使用以时间戳开头的行，同时静默地丢弃其他行。

这是我到目前为止所写的内容（我是初学者，所以请不要笑：D）

grammar Antlr;

options {
  language = Java;
}

logfile: line* EOF;

line : dataline | textline;

dataline: timestamp WS ':' WS text NL ;
textline: ~DIG text NL;

timestamp: four_dig '.' two_dig '.' two_dig WS two_dig ':' two_dig ':' two_dig ;

four_dig: DIG DIG DIG DIG;
two_dig: DIG DIG;

text: ~NL+;

/* Whitespace */ 
WS: (' ' | '\t')+;

/* New line goes to \r\n or EOF */
NL: '\r'? '\n' ;

/* Digits */
DIG : '0'..'9';

所以我需要的是一个如何解析它而不会为没有时间戳的行生成错误的示例。

谢谢！

Answer 1

没有人会笑。事实上，你第一次尝试做得很好。当然，还有改进的余地！：）

首先是一些评论：你只能否定单个字符。由于您的NL规则可能包含两个字符，因此您无法否定它。此外，当你在解析器规则中否定时，你不会否定单个字符，但是你否定了词法规则。这可能听起来有点令人困惑，所以让我用一个例子来澄清。采用组合（解析器和词法分析器）语法T：

grammar T;

// parser rule
foo
  :  ~A
  ;

// lexer rules
A
  :  'a'
  ;

B
  :  'b'
  ;

C
  :  'c'
  ;

正如您所看到的，我正在否定A解析器规则中的foo词法规则。 foo规则现在不匹配除'a'之外的任何字符，但它匹配除A之外的任何词法规则。换句话说，它只匹配'b'或'c'字符。

此外，您无需输入：

options {
  language = Java;
}

在你的语法中：默认目标是Java（当然，将它留在那里并没有什么坏处。）

现在，在您的语法中，您已经可以区分词法分析器语法中的data - 和text - 行。这是一种可行的方法：

logfile
  :  line+
  ;

line
  :  dataline 
  |  textline
  ;

dataline
  :  DataLine
  ;

textline
  :  TextLine
  ;

DataLine
  :  TwoDigits TwoDigits '.' TwoDigits '.' TwoDigits Space+ TwoDigits ':' TwoDigits ':' TwoDigits Space+ ':' TextLine
  ;

TextLine
  :  ~('\r' | '\n')* (NewLine | EOF)
  ;

fragment
NewLine
  :  '\r'? '\n'
  |  '\r'
  ;

fragment
TwoDigits
  :  '0'..'9' '0'..'9'
  ;

fragment
Space
  :  ' ' 
  |  '\t'
  ;

请注意，词法分析器规则中的fragment部分意味着没有从这些规则创建令牌：它们仅用于其他词法分析器规则。所以词法分析器只会创建两种不同类型的标记：DataLine和TextLine。

Answer 2

尽量让你的语法尽可能接近，这是我能够根据示例输入使其工作的方式。因为空格是从词法分析器传递给解析器的，所以我确实将解析器中的所有标记移动到实际的词法分析器规则中。主要的变化实际上只是添加另一个行选项然后尝试使其匹配您的测试数据而不是实际的其他好数据，我还假设应该丢弃一条空行，因为您可以通过规则来判断。所以这就是我能够工作的原因：

logfile: line* EOF;

//line : dataline | textline;
line : dataline | textline | discardline;

dataline: timestamp WS COLON WS text NL ;
textline: ~DIG text NL;

//"new"
discardline: (WS)+ discardtext (text|DIG|PERIOD|COLON|SLASH|WS)* NL
    | (WS)* NL;
discardtext: (two_dig| DIG) WS* SLASH;
// two_dig SLASH four_dig;

timestamp: four_dig PERIOD two_dig PERIOD two_dig WS two_dig COLON two_dig COLON two_dig ;

four_dig: DIG DIG DIG DIG;
two_dig: DIG DIG;

//Following is very different
text: CHAR (CHAR|DIG|PERIOD|COLON|SLASH|WS)*;

/* Whitespace */ 
WS: (' ' | '\t')+ ;

/* New line goes to \r\n or EOF */
NL: '\r'? '\n' ;

/* Digits */
DIG : '0'..'9'; 

//new lexer rules
CHAR : 'a'..'z'|'A'..'Z';
PERIOD : '.';
COLON : ':';
SLASH : '/' | '\\';

希望能帮到你，祝你好运。

帮助解析日志文件（ANTLR3）

2 个答案: