serialize / pickle在字符串中定义的函数

时间:2017-01-21 17:52:33

标签: python serialization namespaces pickle dill

我想做以下事情:

import pickle
namespace = {}
exec('def f(x): return x', namespace)
pickle.dumps(namespace['f']) 

但是,这会导致以下错误:

---------------------------------------------------------------------------
PicklingError                             Traceback (most recent call last)
<ipython-input-102-61493bb3c732> in <module>()
      2 namespace = {}
      3 exec('def f(x): return x', namespace)
----> 4 pickle.dumps(namespace['f'])

PicklingError: Can't pickle <function f at 0x7f2134171950>: it's not the same object as __main__.f

我想解决的问题:我有一个字符串格式的函数,我需要能够序列化它(用于并行化目的。)

3 个答案:

答案 0 :(得分:2)

您可以将当前global命名空间传递给exec,然后您可以选择该功能:

import pickle
exec('def f(x): return x', globals())
pickle.dumps(f)

是否可以在另一个环境中加载它,这是一个完全不同的问题,如here所述。

答案 1 :(得分:2)

我不确定为什么在您的问题中使用了dill标记,因为您只使用了pickle ...但是如果您真的需要您的代码完全是您编写它的方式,那么有一点需要注意,您可以将pickle替换为dill ......它可以运作:

>>> import dill as pickle
>>> namespace = {}
>>> exec('def f(x): return x', namespace)
>>> _f = pickle.dumps(namespace['f'])
>>> _f
'\x80\x02cdill.dill\n_create_function\nq\x00(cdill.dill\n_load_type\nq\x01U\x08CodeTypeq\x02\x85q\x03Rq\x04(K\x01K\x01K\x01KCU\x04|\x00\x00Sq\x05N\x85q\x06)U\x01xq\x07\x85q\x08U\x08<string>q\tU\x01fq\nK\x01U\x00q\x0b))tq\x0cRq\r}q\x0e(U\x0c__builtins__q\x0fc__builtin__\n__dict__\nh\nh\x00(h\rh\x0eh\nNN}q\x10tq\x11Rq\x12uh\nNNh\x10tq\x13R0h\x12.'
>>> f = pickle.loads(_f)
>>> f(5)
5
>>> 

答案 2 :(得分:1)

不使用globals()以下作品:

import pickle
namespace = {}
exec('def f(x): return x', namespace)
f = namespace['f'] # has to have the same name
pickle.dumps(f) 

namespace获取的函数必须在函数名称空间中以相同的名称定义。