编写自定义表达式解析器或使用ANTLR库?

时间:2017-12-25 07:53:51

标签: parsing compiler-construction antlr tokenize lex

我有以下表达式:

eg 1: (f1 AND f2)

eg 2: ((f1 OR f2) AND f3)

eg 3: ((f1 OR f2) AND (f3 OR (f4 AND f5)))

每个f(n)用于生成SQL片段,并且每个片段将使用表达式中描述的OR / AND连接。

现在我想:

1)解析这个表达式

2)验证

3)生成"表达树"表达式并使用此树生成最终的SQL。

我发现了一系列关于编写标记符,解析器的文章。例如:

http://cogitolearning.co.uk/2013/05/writing-a-parser-in-java-the-expression-tree/

我还遇到了ANTLR库,它想知道我是否可以用于我的案例。

任何提示?

1 个答案:

答案 0 :(得分:1)

我猜你可能只对Java感兴趣(将来会这样说很好),但如果您有多种语言可供选择,那么我建议您使用Python和parsy像这样的任务。它比ANTLR的重量轻得多。

以下是一些示例代码,它将您的样本解析为适当的数据结构:

import attr
from parsy import string, regex, generate


@attr.s
class Variable():
    name = attr.ib()


@attr.s
class Compound():
    left_value = attr.ib()
    right_value = attr.ib()
    operator = attr.ib()


@attr.s
class Expression():
    value = attr.ib()
    # You could put an `evaluate` method here,
    # or `generate_sql` etc.


whitespace = regex(r'\s*')
lexeme = lambda p: whitespace >> p << whitespace


AND = lexeme(string('AND'))
OR = lexeme(string('OR'))
OPERATOR = AND | OR
LPAREN = lexeme(string('('))
RPAREN = lexeme(string(')'))
variable = lexeme((AND | OR | LPAREN | RPAREN).should_fail("not AND OR ( )") >> regex("\w+")).map(Variable)


@generate
def compound():
    yield LPAREN
    left = yield variable | compound
    op = yield OPERATOR
    right = yield variable | compound
    yield RPAREN

    return Compound(left_value=left,
                    right_value=right,
                    operator=op)


expression = (variable | compound).map(Expression)

我还使用attrs来表示简单的数据结构。

解析的结果是表达式的层次结构:

>>> expression.parse("((f1 OR f2) AND (f3 OR (f4 AND f5)))")
Expression(value=Compound(left_value=Compound(left_value=Variable(name='f1'), right_value=Variable(name='f2'), operator='OR'), right_value=Compound(left_value=Variable(name='f3'), right_value=Compound(left_value=Variable(name='f4'), right_value=Variable(name='f5'), operator='AND'), operator='OR'), operator='AND'))