Question

我想解析并检查config.py中是否有可允许的节点。 config.py可以导入其他配置文件，也必须对其进行检查。

ast模块中是否有任何功能可以将ast.Import和ast.ImportFrom对象解析为ast.Module对象？

这是一个代码示例，我正在检查配置文件（path_to_config），但我还想检查它导入的所有文件：

with open(path_to_config) as config_file:
    ast_tree = ast.parse(config_file.read())
    for script_object in ast_tree.body:
        if isinstance(script_object, ast.Import):
            # Imported file must be checked too
        elif isinstance(script_object, ast.ImportFrom):
            # Imported file must be checked too
        elif not _is_admissible_node(script_object):
            raise Exception("Config file '%s' contains unacceptable statements" % path_to_config)

Answer 1

这比您想象的要复杂。 from foo import name是导入foo模块中定义的对象和foo.name模块中的有效方法，因此您可能必须尝试两种形式的才能看到如果他们解析为文件。 Python还允许使用别名，代码可以导入foo.bar，但实际模块实际上定义为foo._bar_implementation，并可以作为foo包的属性使用。您无法仅通过查看Import和ImportFrom节点来检测所有这些情况。

如果忽略这些情况，仅查看from名称，则仍然必须将模块名称转换为文件名，然后针对每次导入从文件中解析源。

在Python 2中，您可以使用imp.find_module来获取模块^（*）的打开文件对象。解析每个模块时，您希望保留完整的模块名称，因为稍后将需要它来帮助您确定相对于软件包的导入。 imp.find_module()无法处理包导入，因此我创建了包装函数：

import imp

_package_paths = {}
def find_module(module):
    # imp.find_module can't handle package paths, so we need to do this ourselves
    # returns an open file object, the filename, and a flag indicating if this
    # is a package directory with __init__.py file.
    path = None
    if '.' in module:
        # resolve the package path first
        parts = module.split('.')
        module = parts.pop()
        for i, part in enumerate(parts, 1):
            name = '.'.join(parts[:i])
            if name in _package_paths:
                path = [_package_paths[name]]
            else:
                _, filename, (_, _, type_) = imp.find_module(part, path)
                if type_ is not imp.PKG_DIRECTORY:
                    # no Python source code for this package, abort search
                    return None, None
                _package_paths[name] = filename
                path = [filename]
    source, filename, (_, _, type_) = imp.find_module(module, path)
    is_package = False
    if type_ is imp.PKG_DIRECTORY:
        # load __init__ file in package
        source, filename, (_, _, type_) = imp.find_module('__init__', [filename])
        is_package = True
    if type_ is not imp.PY_SOURCE:
        return None, None, False
    return source, filename, is_package

我还将跟踪您已经导入了哪些模块名称，因此您无需对其进行两次处理。使用spec对象中的名称来确保您跟踪其规范名称。

使用堆栈来处理所有模块：

with open(path_to_config) as config_file:
    # stack consists of (modulename, ast) tuples
    stack = [('', ast.parse(config_file.read()))]

seen = {}
while stack:
    modulename, ast_tree = stack.pop()
    for script_object in ast_tree.body:
        if isinstance(script_object, (ast.Import, ast.ImportFrom)):
            names = [a.name for a in script_object.names]
            from_names = []
            if hasattr(script_object, 'level'):  # ImportFrom
                from_names = names
                name = script_object.module
                if script_object.level:
                    package = modulename.rsplit('.', script_object.level - 1)[0]
                    if script_object.module:
                        name = "{}.{}".format(name, script_object.module)
                    else:
                        name = package
                names = [name]
            for name in names:
                if name in seen:
                    continue
                seen.add(name)
                source, filename, is_package = find_module(name)
                if source is None:
                    continue
                if is_package and from_names:
                    # importing from a package, assume the imported names
                    # are modules
                    names += ('{}.{}'.format(name, fn) for fn in from_names)
                    continue
                with source:
                    module_ast = ast.parse(source.read(), filename)
                queue.append((name, module_ast))

        elif not _is_admissible_node(script_object):
            raise Exception("Config file '%s' contains unacceptable statements" % path_to_config)

在导入from foo import bar的情况下，如果foo是一个包，那么将跳过foo/__init__.py，并假定bar将是一个模块。

^（*） imp.find_module()不推荐用于Python 3代码。在Python 3上，您可以使用importlib.util.find_spec()来获取模块加载程序规范，然后使用ModuleSpec.origin attribute来获取文件名。 importlib.util.find_spec()知道如何处理包裹。

我可以在抽象语法树中处理导入吗？

1 个答案: