气流中的持续时间统计API

时间:2019-05-15 19:48:44

标签: python-3.x airflow

在气流中,“甘特图”图表很好地展示了运行任务的性能。它提供了诸如开始/结束时间,持续时间等统计信息。

你们知道一种通过Airflow API以编程方式提取这些统计信息的方法吗?我想使用这些统计信息,并定期生成有关任务执行情况及其随时间变化的报告。

我的气流版本为:1.9 的Python:3.6.3 在docker上运行

谢谢! 开尔文

Airflow在线文档

2 个答案:

答案 0 :(得分:1)

一种简单的方法可能是建立SQL炼金术连接,配置完成后,气流将所有数据存储/发送到那里(dag info / stat / fail,task info / stats /等)。

编辑 airflow.cfg 并添加:

sql_alchemy_conn = mysql://------/table_name

答案 1 :(得分:1)

根据documentation,Airflow可以StatsD格式发送指标,包括

  

dag.<dag_id>.<task_id>.duration-完成任务花费的时间

很遗憾,我没有看到类似开始/结束时间指标的任何信息。