Question

在Dataflow UI中，我可以在作业的各个步骤检查数据水印（例如，在步骤GroupByKey，数据水印是2017-05-24（10:51:58））。是否可以通过Dataflow API访问此数据？

Answer 1

是的，您可以使用gcloud命令行工具来访问API。

gcloud beta dataflow metrics list <job_id> --project=<project_name>

查找以data-watermark结尾的指标

F82-windmill-data-watermark

但是，这还不容易理解，因为命名是基于数据流图的优化视图，而不是代码和UI看起来的管道图的视图。它还使用FX等标识符。

最好采用所有数据水印并获取最小值，这将显示管道尚未完全处理的元素的最旧时间戳。

您特别想要哪些信息？