所以我正在开发一种分布式构建系统。系统允许执行脚本片段作为构建步骤。我需要能够以注释和doc字符串不影响哈希的方式散列这些代码片段。我通过使用ast模块解析代码,然后执行ast.dump并散列生成的字符串来获得部分。对我来说,自然的下一步是清除每个FunctionDef节点主体中的第一个Expr(str())节点。
有没有更好的方法来解决这个问题?我不禁认为这是一个必须已经多次解决的问题,但我无法在堆栈溢出中找到任何东西。
答案 0 :(得分:1)
所以这是我迄今为止找到的最佳解决方案。
import ast
import hashlib
import inspect
def _remove_docstring(node):
'''
Removes all the doc strings in a FunctionDef or ClassDef as node.
Arguments:
node (ast.FunctionDef or ast.ClassDef): The node whose docstrings to
remove.
'''
if not (isinstance(node, ast.FunctionDef) or
isinstance(node, ast.ClassDef)):
return
if len(node.body) != 0:
docstr = node.body[0]
if isinstance(docstr, ast.Expr) and isinstance(docstr.value, ast.Str):
node.body.pop(0)
#-------------------------------------------------------------------------------
def hash_function(func):
'''
Produces a hash for the code in the given function.
Arguments:
func (types.FunctionObject): The function to produce a hash for
'''
func_str = inspect.getsource(func)
module = ast.parse(func_str)
assert len(module.body) == 1 and isinstance(module.body[0], ast.FunctionDef)
# Clear function name so it doesn't affect the hash
func_node = module.body[0]
func_node.name = ""
# Clear all the doc strings
for node in ast.walk(module):
_remove_docstring(node)
# Convert the ast to a string for hashing
ast_str = ast.dump(module, annotate_fields=False)
# Produce the hash
fhash = hashlib.sha256(ast_str)
result = fhash.hexdigest()
return result
#-------------------------------------------------------------------------------
# Function 1
def test(blah):
'This is a test'
class Test(object):
'''
My test class
'''
print blah
def sub_function(foo):
'''arg'''
print hash_function(test)
#-------------------------------------------------------------------------------
# Function 2
def test2(blah):
'This is a test'
class Test(object):
'''
My test class
'''
print blah
def sub_function(foo):
'''arg meh'''
print hash_function(test2)