Question

我知道其他一些问题（Unable to load files using pickle and multipile modules）已经涵盖了这一点，但我看不出他们的解决方案如何适用于我的情况。

这是我的项目结构（尽可能少）：

classify-updater/
├── main.py
└── updater
    ├── __init__.py
    └── updater.py
classify
└── main.py

在classify-updater/main.py：

import sys
from sklearn.feature_extraction.text import CountVectorizer
from updater.updater import Updater

def main(argv):
    vectorizer = CountVectorizer(stop_words='english')
    updater = Updater(vectorizer)
    updater.update()

if __name__ == "__main__":
    main(sys.argv)

在classify-updater/updater/updater.py：

import dill

class Updater:

    def __init__(vectorizer):
        vectorizer.preprocessor = lambda doc: doc.text.encode('ascii', 'ignore')
        self.vectorizer = vectorizer

    def update(self):
        pickled_vectorizer = dill.dumps(self.vectorizer)
        # Save to Google Cloud Storage

在classify/main.py

import dill
import sys

def main(argv):
    # Load from Google Cloud Storage
    vectorizer = dill.loads(vectorizer_blob)

if __name__ == "__main__":
    main(sys.argv)

这会产生ImportError。

Traceback (most recent call last):
  File "classify.py", line 102, in <module>
    app.main(sys.argv)
  File "classify.py", line 50, in main
    vectorizer = self.fetch_vectorizer()
  File "classify.py", line 86, in fetch_vectorizer
    vectorizer = dill.loads(vectorizer_blob.download_as_string())
  File "/usr/local/lib/python2.7/site-packages/dill/dill.py", line 299, in loads
    return load(file)
  File "/usr/local/lib/python2.7/site-packages/dill/dill.py", line 288, in load
    obj = pik.load()
  File "/usr/local/Cellar/python/2.7.13_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 864, in load
    dispatch[key](self)
  File "/usr/local/Cellar/python/2.7.13_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1096, in load_global
    klass = self.find_class(module, name)
  File "/usr/local/lib/python2.7/site-packages/dill/dill.py", line 445, in find_class
    return StockUnpickler.find_class(self, module, name)
  File "/usr/local/Cellar/python/2.7.13_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1130, in find_class
    __import__(module)
ImportError: No module named updater.updater

其他地方已经解释过，pickle需要类定义来加载对象，但我无法看到对updater模块的引用来自何处，因为我只是在腌制Vectorizer的一个实例。

我已经大量简化了这个例子。就我们的代码库而言，这两个软件包相距甚远。将一个模块导入另一个模块可能不可行。有什么方法可以解决这个问题吗？

Answer 1

这里的问题是lambda（匿名函数）。

完全有可能像Vectorizer那样挑选一个自包含的对象。但是，示例中使用的预处理函数的作用域是Updater类，因此需要Updater类进行unpickle。

不是使用预处理器函数，而是自己预处理数据并将其传递给适合矢量化器。这将消除对unpickling的Updater类的需求。

在不同的模块中酸洗和取出

1 个答案: