在气流中,“甘特图”图表很好地展示了运行任务的性能。它提供了诸如开始/结束时间,持续时间等统计信息。
你们知道一种通过Airflow API以编程方式提取这些统计信息的方法吗?我想使用这些统计信息,并定期生成有关任务执行情况及其随时间变化的报告。
我的气流版本为:1.9 的Python:3.6.3 在docker上运行
谢谢! 开尔文
Airflow在线文档
答案 0 :(得分:1)
一种简单的方法可能是建立SQL炼金术连接,配置完成后,气流将所有数据存储/发送到那里(dag info / stat / fail,task info / stats /等)。
编辑 airflow.cfg 并添加:
sql_alchemy_conn = mysql://------/table_name
答案 1 :(得分:1)
根据documentation,Airflow可以StatsD格式发送指标,包括
dag.<dag_id>.<task_id>.duration
-完成任务花费的时间
很遗憾,我没有看到类似开始/结束时间指标的任何信息。