Google Dataflow自定义指标未在Stackdriver上显示

时间:2018-01-30 21:06:19

标签: google-cloud-dataflow stackdriver google-cloud-stackdriver

我试图通过使用Metrics.counter&来衡量部分数据流工作来深入了解我的数据流工作。 Metrics.gauge但我在Stackdriver上找不到它们。

我有一个优质的Stackdriver帐户,我可以在Dataflow UI的自定义计数器部分下看到这些计数器。

我可以看到droppedDueToLateness' custom'虽然在Stackdriver that seems to be created via Metrics.counter as well上反击......

除此之外,还有一些有用的东西,就是当我导航https://app.google.stackdriver.com/services/dataflow时,我得到的信息是: "您没有任何此类资源被Stackdriver监控。"这也很奇怪。好像我们的Cloud Dataflow没有正确连接到Stackdriver,但另一方面。显示一些指标并可以监控,例如系统滞后,水印年龄,经过时间,元素计数等...

我错过了什么?

此致

1 个答案:

答案 0 :(得分:4)

自定义指标命名约定

在Dataflow中定义自定义指标时,您必须遵守https://docs.python.org/3.6/library/pdb.html#pdbcommand-step,否则它们将不会显示在Stackdriver中。

相关摘要:

  

您必须遵守以下针对指标标签的拼写规则   名称:

     
      
  • 您可以使用大写和小写字母,数字,下划线(_)   名字。
  •   
  • 您可以使用字母或数字开头。
  •   
  • 指标标签名称的最大长度为100个字符。
  •   

如果您使用

创建指标
Metrics.counter('namespace', 'name')

该指标在stackdriver中显示为 custom.googleapis.com/dataflow/name ,因此“name”应符合上述规则。 Stackdriver似乎没有使用命名空间。

附加:标签

以这种方式定义时,似乎无法为指标添加标签。但是,度量标准的每个时间序列的完整描述是格式为

的字符串
'name' job_name job_id transform

因此,您可以通过这4个属性(+区域和项目)进行聚合。