为什么我的Dataflow管道没有显示步骤?

时间:2015-12-14 21:54:41

标签: google-cloud-dataflow

enter image description here

当我运行示例时,我得到了一张显示流程的漂亮图片,我可以在执行时进行监控。使用我的应用程序,它不显示图表,如果我点击"步骤"它没有任何显示。

添加作业日志的屏幕截图。没有警告或错误。顺便说一下,我假设日志条目上的图标带有" i"代表信息级别,但是当我将级别从BASIC更改为ALL时,会添加更多条目,并且它们都具有相同的图标。这令人困惑。图标应该更清晰,应该有悬停提示,IMO。

enter image description here

1 个答案:

答案 0 :(得分:0)

我在Dataflow团队。对不起,您遇到了这个问题。

我认为这是因为您正在使用的自定义步骤名称。 从作业日志的屏幕截图中可以看出,其中一些步骤的名称代表了GCS存储路径位置。 我在日志中的这条消息中注意到了这一点:

执行操作“gs:// datalake / landing / ....”

这无法在监控UI中呈现,并且可能会发出断言,因为斜杠是不允许的字符。

为了解决此问题,请尝试删除代码中使用的自定义步骤名称。这似乎设置为gs://样式路径。您也可以尝试为每个步骤指定名称,而不使用特殊字符。 请在尝试更改后再次尝试运行作业,并查看图表是否在数据流UI中正确呈现。

我创建了一个github issue来跟踪此错误,并防止将来在数据流SDK代码中发送这些斜杠字符。

如果您遇到任何其他问题,请与我们联系。