我试图通过使用Metrics.counter
&来衡量部分数据流工作来深入了解我的数据流工作。 Metrics.gauge
但我在Stackdriver上找不到它们。
我有一个优质的Stackdriver帐户,我可以在Dataflow UI的自定义计数器部分下看到这些计数器。
我可以看到droppedDueToLateness
' custom'虽然在Stackdriver that seems to be created via Metrics.counter
as well上反击......
除此之外,还有一些有用的东西,就是当我导航https://app.google.stackdriver.com/services/dataflow时,我得到的信息是: "您没有任何此类资源被Stackdriver监控。"这也很奇怪。好像我们的Cloud Dataflow没有正确连接到Stackdriver,但另一方面。显示一些指标并可以监控,例如系统滞后,水印年龄,经过时间,元素计数等...
我错过了什么?
此致
答案 0 :(得分:4)
自定义指标命名约定
在Dataflow中定义自定义指标时,您必须遵守https://docs.python.org/3.6/library/pdb.html#pdbcommand-step,否则它们将不会显示在Stackdriver中。
相关摘要:
您必须遵守以下针对指标标签的拼写规则 名称:
- 您可以使用大写和小写字母,数字,下划线(_) 名字。
- 您可以使用字母或数字开头。
- 指标标签名称的最大长度为100个字符。
如果您使用
创建指标Metrics.counter('namespace', 'name')
该指标在stackdriver中显示为 custom.googleapis.com/dataflow/name ,因此“name”应符合上述规则。 Stackdriver似乎没有使用命名空间。
附加:标签
以这种方式定义时,似乎无法为指标添加标签。但是,度量标准的每个时间序列的完整描述是格式为
的字符串'name' job_name job_id transform
因此,您可以通过这4个属性(+区域和项目)进行聚合。