在python源代码/脚本中查找依赖项

时间:2013-01-04 22:38:53

标签: python dependencies abstract-syntax-tree

我在Python中有一堆简单的脚本,带有简单的表达式[1],如:

C = A+B
D = C * 4

我需要执行它们,但最重要的是我需要知道我依赖的对象是什么;在前一种情况下,对象 A B 是外部依赖项。例如。鉴于我在一个名为 source 的var中有以前的代码,我想能够:

deps = { "A" : 1 , "B": 2}
exec source in deps

因此,必须知道如何构建dict deps

我潜伏在 ast Python模块中,但我一无所知。


[1]简单的数学聚合,到for个周期,仅此而已。

1 个答案:

答案 0 :(得分:3)

您可以使用标准库中的tokenize模块来标记Python源代码。这将允许您查找脚本中使用的所有变量名称。

现在假设我们将“非依赖”定义为紧接=符号之前的任何变量名称。然后,根据脚本代码的简单程度(参见下面的注意事项),您可以通过这种方式确定非依赖项的变量名称:

import tokenize
import io
import token
import collections
import keyword

kwset = set(keyword.kwlist)
class Token(collections.namedtuple('Token', 'num val start end line')):
    @property
    def name(self):
        return token.tok_name[self.num]

source = '''
C = A+B
D = C * 4
'''

lastname = None
names = set()
not_dep = set()
for tok in tokenize.generate_tokens(io.BytesIO(source).readline):
    tok = Token(*tok)
    print(tok.name, tok.val)
    if tok.name == 'NAME':
        names.add(tok.val)
        lastname = tok.val
    if tok.name == 'OP' and tok.val == '=':
        not_dep.add(lastname)

print(names)
# set(['A', 'C', 'B', 'D'])
print(not_dep)
# set(['C', 'D'])

deps = dict.fromkeys(names - not_dep - kwset, 1)
print(deps)
# {'A': 1, 'B': 1}

<强>注意事项

  • 如果您的脚本包含除简单之外的语句 分配,然后names可能会填充不需要的 变量名。例如,

    import numpy
    

    会将'import''numpy'添加到集合names

  • 如果您的脚本包含使用左手的作业 侧元组拆包,例如

    E, F = 1, 2
    

    然后上面的天真代码只会识别F不是 依赖性。