我的最终目标是应用sql-where-clause样式的查询来过滤pandas数据帧。一些搜索引导我进行pyparsing的infixNotation方法。
我在这里找到了中缀表示法的示例:http://nullege.com/codes/show/src%40p%40y%40pyparsing-2.0.2%40examples%40simpleBool.py/15/pyparsing.infixNotation/python#
但实际上处理符号,我需要在不同的数据上多次使用树。寻找解析树的帮助我发现了这个: http://pyparsing.wikispaces.com/file/view/fourFn.py/30154950/fourFn.py
我从那里获取了堆栈实现。然而,它并没有像我期望的那样表现,所以我希望有人可以告诉我我做错了什么。
这是我能提出的最简单的案例:
from pyparsing import Word, alphas, infixNotation, opAssoc
exprStack=[]
def pushFirst( strg, loc, toks ):
exprStack.append( toks[0] )
def addAnd():
exprStack.append("and")
varname = Word(alphas).setParseAction( pushFirst )
operators=[("and", 2, opAssoc.LEFT,addAnd)]
whereExpr = infixNotation(varname,operators)
exprStack=[]
teststring = "cheese and crackers and wine"
parsed=whereExpr.parseString(teststring)
for p in exprStack:
print p
我从这段代码得到的是:
cheese
crackers
wine
and
根据我对中缀符号方法应该如何工作的理解,我期望得到的是:
cheese
crackers
wine
and
and
我也尝试用“奶酪和饼干,葡萄酒和呜呜声”来运行它,但我的名单中只有一个“和”。
使用infixNotation方法时我有什么误解?
谢谢
答案 0 :(得分:3)
首先使用pyparsing的traceParseAction
诊断解析器来解析您的解析操作。
@traceParseAction
def addAnd():
exprStack.append("and")
traceParseAction
将显示匹配的源代码行,匹配的代币的起始位置,传递给解析操作的标记,以及解析操作返回的值:
>>entering addAnd(line: 'cheese and crackers and wine', 0,
([(['cheese', 'and', 'crackers', 'and', 'wine'], {})], {}))
<<leaving addAnd (ret: None)
令牌有点令人困惑,因为你得到的是一个pyparsing ParseResults
对象,它有list和dict语义,所以对象的Python repr
首先显示它的列表内容,然后是其命名内容。看起来像带有列表和字典的元组实际上是ParseResults,在这种情况下,它是一个ParseResults,其第一个元素是另一个ParseResults,这个嵌套对象是包含匹配标记列表的对象。
如果您在解析操作中添加tokens
参数,然后打印出tokens.dump()
,则会更容易看到:
def addAnd(tokens):
print(tokens.dump())
exprStack.append("and")
您将获得更多可读性:
[['cheese', 'and', 'crackers', 'and', 'wine']]
[0]:
['cheese', 'and', 'crackers', 'and', 'wine']
您可以看到匹配的令牌不仅包含&#39;和&#39;,而且还包含所有相关的条款,因此您需要将尽可能多的条款推送到你的exprStack与匹配的标记一样。
def addAnd(tokens):
exprStack.extend(tokens[0][1::2])
通过此更改,您现在应该将此视为已返回的堆栈:
cheese
crackers
wine
and
and