Apache-Beam ImportError:没有名为_pytest.config的模块

时间:2017-12-06 15:36:24

标签: python google-cloud-dataflow apache-beam

我已经创建了一个使用cron触发器运行的数据流模板,并且在创建之后它就成功运行。

我在the code用于创建模板。

但过了一会儿(通常在第二天),它开始抛出以下异常:

(4ba8b349f8644419): Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 706, in run
    self._load_main_session(self.local_staging_directory)
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 446, in _load_main_session
    pickler.load_session(session_file)
  File "/usr/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 247, in load_session
    return dill.load_session(file_path)
  File "/usr/local/lib/python2.7/dist-packages/dill/dill.py", line 363, in load_session
    module = unpickler.load()
  File "/usr/lib/python2.7/pickle.py", line 858, in load
    dispatch[key](self)
  File "/usr/lib/python2.7/pickle.py", line 1090, in load_global
    klass = self.find_class(module, name)
  File "/usr/local/lib/python2.7/dist-packages/dill/dill.py", line 423, in find_class
    return StockUnpickler.find_class(self, module, name)
  File "/usr/lib/python2.7/pickle.py", line 1124, in find_class
    __import__(module)
ImportError: No module named _pytest.config

enter image description here

然后,如果我重新制作模板并尝试再次运行我们的作业,它会起作用,直到第二天返回相同的错误消息。

我一直试图了解错误但我到目前为止还没有。我认为某种文件有一些时间可以影响模板,或者我的config导入导致了一些冲突,但是这个选项并没有解释为什么作业最初成功运行。

如果您需要更多信息,请告诉我们。谢谢!

0 个答案:

没有答案