Question

我有一个数据流工作，可以从几个Google Pub / Sub主题中提取消息，对这些消息中包含的各个元素进行一些并行处理，然后将这些集合传递给各种资源进一步消费。我想整理一个Stackdriver仪表板，显示每个主题处理了多少个别元素。每个ParDo步骤输出一个PCollection。

我使用ElementCount设置了一个仪表板，但我只能按作业过滤，而不是按步骤过滤。如果我鼠标悬停在使用ElementCount生成的图表中的行，我可以看到每一步的计数。实际上，似乎正在报告这些指标，因为我可以通过以下方式使用gcloud命令行实用程序：

gcloud beta dataflow metrics list [jobid] --filter ElementCount

...
name:
  context:
    original_name: extract_value_topic_1/Map-out0-ElementCount
    output_user_name: extract_value_topic_1/Map-out0
  name: ElementCount
  origin: dataflow/v1b3
scalar: 7000
updateTime: '2017-05-03T18:13:22.804Z'
---
name:
  context:
    original_name: extract_value_topic_2/Map-out0-ElementCount
    output_user_name: extract_value_topic_2/Map-out0
  name: ElementCount
  origin: dataflow/v1b3
scalar: 12000
updateTime: '2017-05-03T18:13:22.804Z'

我有其中的几个，但我没有看到基于它们构建Stackdriver图表的简单方法（除了为处理的每个元素登录到控制台，然后使用它来生成基于日志的度量标准，但似乎喜欢它在很多层面都非常低效。）我错过了什么吗？如何根据这些ElementCounts创建图表？

编辑：此外，如果我打开Metrics Explorer，我可以在搜索框中输入dataflow / job / element_count，然后将pcollection输入到过滤器框中，但是我无法在其中构建一个带有此图表的仪表板作为过滤器仪表板图表构建器中的选择不允许按pcollection进行过滤。

Answer 1

很遗憾，您目前无法在度量标签上构建带过滤器的仪表板。正如您所注意到的，新的（Beta）Metric Explorer提供了过滤功能，Stackdriver团队也在积极致力于为仪表板图表提供该功能。如果我收到Stackdriver团队的任何进一步更新或详细信息，我会跟进。 --Andrea

Stackdriver：来自特定数据流PCollection输出的ElementCount

1 个答案: