从我的Apache Beam管道(用Python编写)中检查Stackdriver日志,发现每5分钟发生一次错误。日志是这样的:
Error processing instruction -22858582. Original traceback is Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/apache_beam/runners/worker/sdk_worker.py", line 127, in _execute response = task()
File "/usr/local/lib/python2.7/dist-packages/apache_beam/runners/worker/sdk_worker.py", line 182, in <lambda> instruction_reference
KeyError: u'-22857839'
据我了解,KeyError中的ID以及用于引用“指令”的ID是沿着不同线程传递的任务。我之所以这样假设,是因为格式使我想到了始终出现的该信息日志:
Got work -23571012
对吗?如果是这样,我的某些指令“丢失”是否不好?我该如何进一步调查?至少似乎没有阻塞我的管道,因为我的BigQuery行仍然在写。