Question

我正在尝试编写一个琶音语法，它将提取可以用逗号或空格分隔的标记。也就是说，令牌可以用逗号分隔，如下所示：

a,b,c

空白，像这样：

a b  c

或这样的组合：

a, b c

以上所有内容都会生成三个令牌"a"，"b"和"c"。我还想允许空令牌，这样两个逗号之间只有空格，只会产生空标记：

"a,b,, c" -> ["a", "b", "", "c"]

我已经定义了这样的琶音语法：

def token(): return RegExMatch('[^\s,]*')
def sep(): return RegExMatch('\s*[\s,]\s*')
def token_list(): return token, ZeroOrMore(sep, token)
def tokens(): return OneOrMore(token_list), EOF
parser = ParserPython(tokens)

并实现了一个非常简单的访问者：

class TokenVisitor(PTNodeVisitor):
    def visit_token_list(self, node, children):
        return list(take_nth(2, children))

和这样的顶级功能：

def tokenize(string):
    tree = parser.parse(string)
    return visit_parse_tree(tree, TokenVisitor())

这些都适用于这些例子：

tokenize('a,b,c') # [u'a', u'b', u'c']
tokenize('a, b ,c') # [u'a', u'b', u'c']

但是，以下示例给出了奇怪的输出：

tokenize('a,b c') # u'a | , | b | c | '
tokenize('a,b c') # u'a | b | c | '
tokenize('a,b,,c') # [u'a', u'b', u',']

关于arpeggio如何处理我不理解的空格和空字符串，可能会有一些问题。如何修复我的语法以正确解析所有这些示例？

Answer 1

默认情况下，Arpeggio的解析器会跳过空白区域。要覆盖此行为，请将skipws=False传递给ParserPython构造函数：

parser = ParserPython(tokens, skipws=False)

请参阅http://www.igordejanovic.net/Arpeggio/configuration/#white-space-handling。

使用琶音

1 个答案: