Flink指标为csv?

时间:2018-01-24 17:38:34

标签: performance apache-flink flink-streaming

我正在尝试在某些flink作业上测试不同的指标。但是,我发现设置一个指标报告器非常麻烦。目前我正在使用Graphite,我需要手动选择我想要的所有指标,将它们放入不同的图表中以概述此测试是否有意义,如果是,我必须将所有指标单独导出到csv文件中最后在另一个图表中再次合并(不幸的是,自定义图表是强制性的)。

然后我使用不同的设置或平行重新部署作业,这会更改作业ID,这意味着我需要再次将所有图表放在一起,导出这些指标,等等......

是否有更舒适的方式将flink作业的指标作为csv文件?很高兴得到某些运算符的指标(那些ID保持不变),不管怎样都是csv,独立于作业ID或任务管理员ID。

1 个答案:

答案 0 :(得分:1)

使用Influxdb记者,设置范围格式非常容易,使得度量标准命名非常干净,然后您可以对数据库执行不错的常规查询以转储指标组。请参阅https://github.com/jgrier/flink-stuff/tree/master/flink-influx-reporter