我在谷歌云数据流上设置了一个工作,它需要7个多小时才能完成。我的工作ID是2016-10-10_09_29_48-13166717443134662621。它没有显示管道中的任何错误。只需继续注销" oauth2client.transport:由于401"而刷新。我的工人有问题还是有问题。如果是这样,我该如何解决?
答案 0 :(得分:2)
作为一种通用方法,您应该尝试在本地运行管道,使用小型数据集上的DirectPipelineRunner
来调试自定义转换。
一旦通过,您可以使用Google Cloud Dataflow UI调查管道状态。您可以特别查看Elements Added
标签中的Step
字段,看看您的转换是否正在产生输出。
在这个特定的工作中,有一个步骤似乎没有产生输出,这通常表示用户代码中存在问题。