使用Pyparsing解析自定义格式(花括号分隔)文本配置

时间:2017-10-23 14:02:45

标签: python parsing pyparsing

我需要解析一些负载均衡器配置部分。它看起来很简单(至少对于人类而言)。

Config由几个对象组成,其内容大括号如下:

ltm rule ssl-header-insert {
    when HTTP_REQUEST {
  HTTP::header insert "X-SSL-Connection" "yes"
}
}
ltm rule some_redirect {
    priority 1

when HTTP_REQUEST {

    if { (not [class match [IP::remote_addr] equals addresses_group ]) }
    {
        HTTP::redirect "http://some.page.example.com"
        TCP::close
        event disable all
    }
}

每个部分/对象的内容都是TCL代码,因此会有嵌套的花括号。我想要实现的是成对地解析它:对象标识符(在ltm rule关键字之后)和它的内容(在大括号内的tcl代码)。

我查看过一些例子并做了很多实验,但这真的让我很难过。我在pyparsing中进行了一些调试(这对我来说有点混乱)而且我认为我无法以某种方式检测到关闭括号,但无法弄明白。

到目前为止我想出了什么:

from pyparsing import *
import json

list_sample = """ltm rule ssl-header-insert {
    when HTTP_REQUEST {
  HTTP::header insert "X-SSL-Connection" "yes"
}
}
ltm rule some_redirect {
    priority 1

when HTTP_REQUEST {

    if { (not [class match [IP::remote_addr] equals addresses_group ]) }
    {
        HTTP::redirect "http://some.page.example.com"
        TCP::close
        event disable all
    }
}
}
ltm rule http_header_replace {
    when HTTP_REQUEST {

        HTTP::header replace Host some.host.example.com

}
}"""

ParserElement.defaultWhitespaceChars=(" \t")
NL = LineEnd()
END = StringEnd()

LBRACE, RBRACE = map(Suppress, '{}')
ANY_HEADER = Suppress("ltm rule ") + Word(alphas, alphanums + "_-")
END_MARK = Literal("ltm rule")

CONTENT_LINE = (~ANY_HEADER + (NotAny(RBRACE + FollowedBy(END_MARK)) + ~END + restOfLine) | (~ANY_HEADER + NotAny(RBRACE + FollowedBy(END)) + ~END + restOfLine)) | (~RBRACE + ~END + restOfLine)

ANY_HEADER.setName("HEADER").setDebug()
LBRACE.setName("LBRACE").setDebug()
RBRACE.setName("RBRACE").setDebug()
CONTENT_LINE.setName("LINE").setDebug()

template_defn = ZeroOrMore((ANY_HEADER + LBRACE +
                 Group(ZeroOrMore(CONTENT_LINE)) +
                 RBRACE))
template_defn.ignore(NL)


results = template_defn.parseString(list_sample).asList()

print("Raw print:")
print(results)
print("----------------------------------------------")
print("JSON pretty dump:")
print json.dumps(results, indent=2)

我在调试中看到一些匹配工作但最终失败并且结果为空列表。 在旁注 - 我的CONTENT_LINE部分语法一般可能过于复杂,但到目前为止我找不到任何更简单的方法来覆盖它。

接下来要弄清楚如何在内容部分中保留新的行和制表符,因为我需要在输出中保持不变。但看起来我必须使用ignore()函数 - 跳过新行 - 首先解析多行文本,这是另一个挑战。

我很感激有人帮助我找出问题所在。或许我应该采取其他方法?

1 个答案:

答案 0 :(得分:1)

我认为nestedExpr('{', '}')会有所帮助。这样可以处理嵌套的' {},并且originalTextFor中的换行将保留换行符和空格。

import pyparsing as pp

LTM, RULE = map(pp.Keyword, "ltm rule".split())
ident = pp.Word(pp.alphas, pp.alphanums+'-_')

ltm_rule_expr = pp.Group(LTM + RULE 
                         + ident('name') 
                         + pp.originalTextFor(pp.nestedExpr('{', '}'))('body'))

使用您的示例字符串(添加缺失的尾随'}后):

for rule, _, _ in ltm_rule_expr.scanString(sample):
    print(rule[0].name, rule[0].body.splitlines()[0:2])

给出

ssl-header-insert ['{', '    when HTTP_REQUEST {']
some_redirect ['{', '    priority 1']

dump()也是列出返回的ParseResults内容的好方法:

for rule, _, _ in ltm_rule_expr.scanString(sample):
    print(rule[0].dump())
    print()

['ltm', 'rule', 'ssl-header-insert', '{\n    when HTTP_REQUEST {\n  HTTP::header insert "X-SSL-Connection" "yes"\n}\n}']
- body: '{\n    when HTTP_REQUEST {\n  HTTP::header insert "X-SSL-Connection" "yes"\n}\n}'
- name: 'ssl-header-insert'

['ltm', 'rule', 'some_redirect', '{\n    priority 1\n\nwhen HTTP_REQUEST {\n\n    if { (not [class match [IP::remote_addr] equals addresses_group ]) }\n    {\n        HTTP::redirect "http://some.page.example.com"\n        TCP::close\n        event disable all\n    }\n}}']
- body: '{\n    priority 1\n\nwhen HTTP_REQUEST {\n\n    if { (not [class match [IP::remote_addr] equals addresses_group ]) }\n    {\n        HTTP::redirect "http://some.page.example.com"\n        TCP::close\n        event disable all\n    }\n}}'
- name: 'some_redirect'

请注意,我将'ltm''rule'分解为单独的关键字表达式。这样可以防止开发人员将有效代码编写为ltm rule blah,并使用> " ltm"之间有1个空格和"规则"。这种事情一直都在发生,你永远不知道会出现什么样的空白。