我们正在使用带有Google Cloud Dataflow的apache-beam python 2.3。自大约2周以来,https://console.cloud.google.com/dataflow的云数据流仪表板严重延迟了我们(大约30分钟 - 1小时)。
这有两种口味:
新启动的作业未显示在概述中,梁的详细作业状态页面提供的状态链接也无法使用错误“未找到作业”
另外,如果最终显示作业,它们通常会显示“正在运行”状态,而实际上它们已经完成
尝试通过gcloud cli工具访问状态时也是如此(例如“ gcloud dataflow jobs list ”)。
最终(最多2小时后)所有作业都会更新并正确显示。
现在,我的问题是: 这是什么原因以及如何获得最新的仪表板?在运行这项工作时是否有任何我做错的事情,我是否需要传递另一个参数?
由于我们正在合作的数据的数据隐私法规,我们在欧洲 - 西部地区1开展所有工作,所有工作人员都在zone = europe-west3-a(法兰克福/德国)。
答案 0 :(得分:0)
我们也看到了这一点(也是欧洲西部1c)。
虽然Google对此有所了解,但我们用来解决此问题的一种解决方法是打开一些已经在列表中的旧作业,并直接替换URL中的作业ID。这样,新作业及其所有相关信息将显示在网页中。不是一个完美的解决方案,但它现在有效。
因此,当您启动代码时,应该说'Job 2018-03-06_09_31_00-13061856958687011068 submitted'
之类的内容,即您需要替换的ID ...
顺便说一句,它似乎与2.2.3升级没有关系,因为我们几周前开始看到这个问题,即使仍在运行2.2.0
答案 1 :(得分:0)
有一些listjobs服务器OOM崩溃导致仪表板更新延迟,但现在问题已经解决。