我正在使用数据流作业并面临困难。我有在setup.py
中调用的自定义程序包
并在参数选项中进行声明,例如"--setup_file", "./setup.py"
当我在数据流作业中运行时,一切似乎都还好,直到一个小时后它显示如下所示的通知错误:
错误:数据流管道失败。状态:失败,错误:工作流程 失败了原因:数据流作业似乎由于没有工作程序而被卡住 最近1小时内已看到活动。您可以获得有关Cloud的帮助 数据流在 https://cloud.google.com/dataflow/support。
我很好奇这个问题是自定义程序包设置中的“某物”,它可能会丢失(但是关于不完整的程序包没有错误)。那么,可能有什么问题呢?以及如何处理呢? 我正在使用这个:
google-cloud-bigquery==0.25.0
google-cloud-core==0.28.1
google-cloud-dataflow==2.5.0