将infixNotation pyparsing到解析树中:只有一个操作符以树结尾?

时间:2017-09-16 08:16:58

标签: python pyparsing infix-notation

我的最终目标是应用sql-where-clause样式的查询来过滤pandas数据帧。一些搜索引导我进行pyparsing的infixNotation方法。

我在这里找到了中缀表示法的示例:http://nullege.com/codes/show/src%40p%40y%40pyparsing-2.0.2%40examples%40simpleBool.py/15/pyparsing.infixNotation/python#

但实际上处理符号,我需要在不同的数据上多次使用树。寻找解析树的帮助我发现了这个: http://pyparsing.wikispaces.com/file/view/fourFn.py/30154950/fourFn.py

我从那里获取了堆栈实现。然而,它并没有像我期望的那样表现,所以我希望有人可以告诉我我做错了什么。

这是我能提出的最简单的案例:

from pyparsing import Word, alphas, infixNotation, opAssoc

exprStack=[]
def pushFirst( strg, loc, toks ):
    exprStack.append( toks[0] )

def addAnd():
    exprStack.append("and")

varname = Word(alphas).setParseAction( pushFirst )

operators=[("and", 2, opAssoc.LEFT,addAnd)]

whereExpr = infixNotation(varname,operators)

exprStack=[]
teststring = "cheese and crackers and wine"
parsed=whereExpr.parseString(teststring)
for p in exprStack:
    print p

我从这段代码得到的是:

cheese
crackers
wine
and

根据我对中缀符号方法应该如何工作的理解,我期望得到的是:

cheese
crackers
wine
and
and

我也尝试用“奶酪和饼干,葡萄酒和呜呜声”来运行它,但我的名单中只有一个“和”。

使用infixNotation方法时我有什么误解?

谢谢

1 个答案:

答案 0 :(得分:3)

首先使用pyparsing的traceParseAction诊断解析器来解析您的解析操作。

@traceParseAction
def addAnd():
    exprStack.append("and")

traceParseAction将显示匹配的源代码行,匹配的代币的起始位置,传递给解析操作的标记,以及解析操作返回的值:

>>entering addAnd(line: 'cheese and crackers and wine', 0, 
                 ([(['cheese', 'and', 'crackers', 'and', 'wine'], {})], {}))
<<leaving addAnd (ret: None)

令牌有点令人困惑,因为你得到的是一个pyparsing ParseResults对象,它有list和dict语义,所以对象的Python repr首先显示它的列表内容,然后是其命名内容。看起来像带有列表和字典的元组实际上是ParseResults,在这种情况下,它是一个ParseResults,其第一个元素是另一个ParseResults,这个嵌套对象是包含匹配标记列表的对象。

如果您在解析操作中添加tokens参数,然后打印出tokens.dump(),则会更容易看到:

def addAnd(tokens):
    print(tokens.dump())
    exprStack.append("and")

您将获得更多可读性:

[['cheese', 'and', 'crackers', 'and', 'wine']]
[0]:
  ['cheese', 'and', 'crackers', 'and', 'wine']

您可以看到匹配的令牌不仅包含&#39;和&#39;,而且还包含所有相关的条款,因此您需要将尽可能多的条款推送到你的exprStack与匹配的标记一样。

def addAnd(tokens):
    exprStack.extend(tokens[0][1::2])

通过此更改,您现在应该将此视为已返回的堆栈:

cheese
crackers
wine
and
and