我已经创建了一个使用cron触发器运行的数据流模板,并且在创建之后它就成功运行。
我在the code用于创建模板。
但过了一会儿(通常在第二天),它开始抛出以下异常:
(4ba8b349f8644419): Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 706, in run
self._load_main_session(self.local_staging_directory)
File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 446, in _load_main_session
pickler.load_session(session_file)
File "/usr/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 247, in load_session
return dill.load_session(file_path)
File "/usr/local/lib/python2.7/dist-packages/dill/dill.py", line 363, in load_session
module = unpickler.load()
File "/usr/lib/python2.7/pickle.py", line 858, in load
dispatch[key](self)
File "/usr/lib/python2.7/pickle.py", line 1090, in load_global
klass = self.find_class(module, name)
File "/usr/local/lib/python2.7/dist-packages/dill/dill.py", line 423, in find_class
return StockUnpickler.find_class(self, module, name)
File "/usr/lib/python2.7/pickle.py", line 1124, in find_class
__import__(module)
ImportError: No module named _pytest.config
然后,如果我重新制作模板并尝试再次运行我们的作业,它会起作用,直到第二天返回相同的错误消息。
我一直试图了解错误但我到目前为止还没有。我认为某种文件有一些时间可以影响模板,或者我的config
导入导致了一些冲突,但是这个选项并没有解释为什么作业最初成功运行。
如果您需要更多信息,请告诉我们。谢谢!