ANTLR3：没有可行的替代方案

时间：2019-02-06 08:21:10

标签： java parsing antlr grammar antlr3

我有这个ANTLR3语法：

grammar wft;

@header {
    package com.mycompany.wftdiff.parser;

    import com.mycompany.wftdiff.model.*;
}
@lexer::header {
    package com.mycompany.wftdiff.parser;
}
@members {
    private final WftFile wftFile = new WftFile();

    public WftFile getParsingResult() {
        return wftFile;
    }
}
wftFile:
    {
        System.out.println("Heyo!");
    }
    (CommentLine | assignment | NewLine)*
    itemTypeDefinition
    EOF
    ;

/**
 * ItemTypeDefinition
 * DEFINE ITEM_TYPE
 * END ITEM_TYPE
 */
itemTypeDefinition:
    'DEFINE ITEM_TYPE' NewLine
    (KeyName|TransStmt|BaseStmt|NewLine)+
        WhiteSpace* 'DEFINE ITEM_ATTRIBUTE' NewLine
        (KeyName|TransStmt|BaseStmt)*
        WhiteSpace* 'END ITEM_ATTRIBUTE' NewLine
    'END ITEM_TYPE'
    ;

/**
 * KeyName
 * KEY NAME VARCHAR2(8)
 */
KeyName: WhiteSpace* KeyNameStart .* {$channel = HIDDEN;} NewLine;
fragment KeyNameStart: 'KEY NAME VARCHAR2(';

/**
 * TransStmt
 * TRANS DISPLAY_NAME VARCHAR2(80)
 */
TransStmt: WhiteSpace* TransStmtStart .* {$channel = HIDDEN;} NewLine;
fragment TransStmtStart: 'TRANS';

/**
 * BaseStmt
 BASE PROTECT_LEVEL NUMBER
 */
BaseStmt: WhiteSpace* BaseStmtStart .* {$channel = HIDDEN;} NewLine;
fragment BaseStmtStart: 'BASE';

/**
 * Assignment
 */
assignment returns [Assignment assignment]:
    {
        System.out.println("Assignment found!");
    }
    target=AssignmentTarget
    WhiteSpace '=' WhiteSpace
    value=String {
        assignment = new Assignment(target.getText(), value.getText());
        wftFile.addAssignment(new Assignment(target.getText(), value.getText()));
    }
    NewLine;

AssignmentTarget: A (A|D|'_')*;
String: '"' ~'"'* '"'
;

/**
 * Comment
 */
CommentLine: CommentStart .* {$channel = HIDDEN;} NewLine;
fragment CommentStart: '#';

// Lexer rules

fragment D: '0'..'9';
fragment A: 'A'..'Z'
    | 'a'..'z';
StringLength: D+;
NewLine   : '\r' '\n' | '\n' | '\r';
WhiteSpace: ' ';

然后我使用生成一个解析器

java -cp "D:\wftdiff\lib\antlr-3.5.2\antlr-3.5.2-complete.jar" org.antlr.Tool -o src/com/mycompany/wftdiff/parser/ grammar-src/wft.g

...并这样称呼它：

val lexer = wftLexer(ANTLRFileStream(fileName))
val parser = wftParser(CommonTokenStream(lexer))
parser.wftFile()
System.out.println("Test")

fileName指向具有以下内容的文本文件：

# Oracle Workflow Process Definition
# $Header$

VERSION_MAJOR = "2"
VERSION_MINOR = "6"
LANGUAGE = "GERMAN"

ACCESS_LEVEL = "100"

DEFINE ITEM_TYPE
  KEY NAME VARCHAR2(8)
  TRANS DISPLAY_NAME VARCHAR2(80)
  TRANS DESCRIPTION VARCHAR2(240)
  BASE PROTECT_LEVEL NUMBER
  BASE CUSTOM_LEVEL NUMBER
  BASE WF_SELECTOR VARCHAR2(240)
  BASE READ_ROLE REFERENCES ROLE
  BASE WRITE_ROLE REFERENCES ROLE
  BASE EXECUTE_ROLE REFERENCES ROLE
  BASE PERSISTENCE_TYPE VARCHAR2(8)
  BASE PERSISTENCE_DAYS NUMBER

  DEFINE ITEM_ATTRIBUTE
    KEY NAME VARCHAR2(30)
    TRANS DISPLAY_NAME VARCHAR2(80)
    TRANS DESCRIPTION VARCHAR2(240)
    BASE PROTECT_LEVEL NUMBER
    BASE CUSTOM_LEVEL NUMBER
    BASE TYPE VARCHAR2(8)
    BASE FORMAT VARCHAR2(240)
    BASE VALUE_TYPE VARCHAR2(8)
    BASE DEFAULT VARCHAR2(4000)
  END ITEM_ATTRIBUTE
END ITEM_TYPE

我得到以下输出：

Heyo!
Assignment found!
Assignment found!
Assignment found!
Assignment found!
test-data/partialSample01.wft line 25:2 no viable alternative at character 'D'
test-data/partialSample01.wft line 35:2 no viable alternative at character 'E'
Test

我应该如何更改语法以摆脱no viable alternative at character 'D'错误？

请注意，我不需要解析文件的这一部分（我对此特定信息不感兴趣；它会在文件的后面出现）。

更新1：试图忽略建议的here（使用skip()），但这没有帮助。

新语法文件：

grammar wft;

@header {
    package com.mycompany.wftdiff.parser;

    import com.mycompany.wftdiff.model.*;
}
@lexer::header {
    package com.mycompany.wftdiff.parser;
}
@members {
    private final WftFile wftFile = new WftFile();

    public WftFile getParsingResult() {
        return wftFile;
    }
}
wftFile:
    {
        System.out.println("Heyo!");
    }
    (CommentLine | assignment | NewLine)*
    itemTypeDefinition
    EOF
    ;

/**
 * ItemTypeDefinition
 * DEFINE ITEM_TYPE
 * END ITEM_TYPE
 */
itemTypeDefinition:
    'DEFINE ITEM_TYPE' NewLine
    (KeyName|TransStmt|BaseStmt|NewLine)+
        WhiteSpace*
        NewLine
        DefineItemAttribute
        WhiteSpace*
    'END ITEM_TYPE'
    ;

DefineItemAttribute: 'DEFINE ITEM_ATTRIBUTE' .* 'END ITEM_ATTRIBUTE' {skip();};

/**
 * KeyName
 * KEY NAME VARCHAR2(8)
 */
KeyName: WhiteSpace* KeyNameStart .* {$channel = HIDDEN;} NewLine;
fragment KeyNameStart: 'KEY NAME VARCHAR2(';

/**
 * TransStmt
 * TRANS DISPLAY_NAME VARCHAR2(80)
 */
TransStmt: WhiteSpace* TransStmtStart .* {$channel = HIDDEN;} NewLine;
fragment TransStmtStart: 'TRANS';

/**
 * BaseStmt
 BASE PROTECT_LEVEL NUMBER
 */
BaseStmt: WhiteSpace* BaseStmtStart .* {$channel = HIDDEN;} NewLine;
fragment BaseStmtStart: 'BASE';

/**
 * Assignment
 */
assignment returns [Assignment assignment]:
    {
        System.out.println("Assignment found!");
    }
    target=AssignmentTarget
    WhiteSpace '=' WhiteSpace
    value=String {
        assignment = new Assignment(target.getText(), value.getText());
        wftFile.addAssignment(new Assignment(target.getText(), value.getText()));
    }
    NewLine;

AssignmentTarget: A (A|D|'_')*;
String: '"' ~'"'* '"'
;

/**
 * Comment
 */
CommentLine: CommentStart .* {$channel = HIDDEN;} NewLine;
fragment CommentStart: '#';

// Lexer rules

fragment D: '0'..'9';
fragment A: 'A'..'Z'
    | 'a'..'z';
StringLength: D+;
NewLine   : '\r' '\n' | '\n' | '\r';
WhiteSpace: ' ';

解析结果：

Heyo!
Assignment found!
Assignment found!
Assignment found!
Assignment found!
test-data/partialSample01.wft line 25:2 no viable alternative at character 'D'
test-data/partialSample01.wft line 36:0 missing DefineItemAttribute at 'END ITEM_TYPE'
Test

赏金条款

我将把赏金奖励给完成以下英雄事迹的人：

  1. 创建一个解析器，该解析器能够识别this file中在注释中标记为相关的所有部分，即

1.1。 BEGIN ACTIVITY和END ACTIVITY标签内的所有内容， 1.2。 BEGIN ACTIVITY_TRANSITION和END ACTIVITY_TRANSITION内部的所有内容， 1.3。 BEGIN PROCESS_ACTIVITY和BEGIN PROCESS_ACTIVITY标签内的所有内容。

通过“识别所有内容”，我的意思是必须有ANTLR 3代码，这使我可以放置Java语句来处理从文件中提取的数据，就像原始帖子中的assignment规则一样。您不需要在那里编写任何Java代码，但是以后我必须可以添加该代码。

解析器可以忽略所有未标记为相关的部分（类似于原始语法中的注释）。

  1. 您的语法必须与ANTLR 3，Java 8和Windows 7兼容。

  2. 您可以删除原始版本中的代码（例如here），这样就不会出现编译器错误。

  3. 解析器必须能够使用java -cp "D:\wftdiff\lib\antlr-3.5.2\antlr-3.5.2-complete.jar" org.antlr.Tool -o src/com/mycompany/wftdiff/parser/ grammar-src/wft.g生成，或者，如果使用任何特殊设置，则需要在答案中指定它们。关键是，我需要能够重现您的结果。

  4. 当我将sample file输入解析器时，它必须使用它而不会抱怨（不打印任何ANTLR错误消息，不崩溃也不抛出NullPointerException之类的技术异常）。

1 个答案:

答案 0 :(得分：0)

这是语法。它可以识别所有部分，您可以在任意位置添加Java操作。

使用jdk1.8，antlr 3.5.2和提供的示例输入进行编译和测试。

grammar wft;

@header {
    package com.mycompany.wftdiff.parser;
}

@lexer::header {
    package com.mycompany.wftdiff.parser;
}

@members {
}

wftFile :   (COMMENT|assignment|definition|flow)*
    ;

assignment
    :   ID EQ STRING
    ;

definition
    :   'DEFINE' ID
        (COMMENT | (dclass ID type) | definition)* 
        'END' ID
    ;


dclass  :   'KEY' | 'BASE' | 'TRANS'
    ;

type    :   tnum | tvarchar | tref | tdate
    ;

tnum    :   'NUMBER'
    ;

tvarchar:   'VARCHAR2' '(' INT ')'
    ;

tref    :   'REFERENCES' ID
    ;

tdate   :   'DATE'
    ;

flow    :   'BEGIN' ID (STRING)+
        (COMMENT|assignment|flow)+
        'END' ID
    ;

EQ  :   '='
    ;

ID  :   ('a'..'z'|'A'..'Z'|'_') ('a'..'z'|'A'..'Z'|'0'..'9'|'_')*
    ;


NL  :   '\r'? '\n' {$channel=HIDDEN;}
    ;

COMMENT
    :   '#' ~('\n'|'\r')* '\r'? '\n' {$channel=HIDDEN;}
    ;

WS  :   ( ' '
        | '\t'
        ) {$channel=HIDDEN;}
    ;

STRING
    :  '"' ( ESC_SEQ | ~('\\'|'"') )* '"'
    ;

fragment
HEX_DIGIT : ('0'..'9'|'a'..'f'|'A'..'F') ;

fragment
ESC_SEQ
    :   '\\' ('b'|'t'|'n'|'f'|'r'|'\"'|'\''|'\\')
    |   UNICODE_ESC
    |   OCTAL_ESC
    ;

fragment
OCTAL_ESC
    :   '\\' ('0'..'3') ('0'..'7') ('0'..'7')
    |   '\\' ('0'..'7') ('0'..'7')
    |   '\\' ('0'..'7')
    ;

fragment
UNICODE_ESC
    :   '\\' 'u' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
    ;

INT :   '0'..'9'+
    ;
相关问题
最新问题