带有自定义字段的气流自定义指标和/或结果对象

Question

通过Airflow运行pySpark SQL管道时，我有兴趣了解一些业务统计信息，例如：

• 源读取计数
• 目标写入次数
• 处理过程中DF的大小
• 错误记录数

一个想法是将其直接推入度量标准，这样它将被Prometheus等监视工具自动使用。另一个想法是通过某个DAG结果对象获得这些值，但是我在文档中找不到任何有关它的信息。

如果有解决方案，请至少张贴一些伪代码。

Answer 1

我希望在airflow.stats.Stats类中重用Airflow的统计信息和监视支持。也许是这样的：

import logging
from airflow.stats import Stats

PYSPARK_LOG_PREFIX = "airflow_pyspark"


def your_python_operator(**context):
    [...]

    try:
        Stats.incr(f"{PYSPARK_LOG_PREFIX}_read_count", src_read_count)
        Stats.incr(f"{PYSPARK_LOG_PREFIX}_write_count", tgt_write_count)
        # So on and so forth
    except:
        logging.exception("Caught exception during statistics logging")

    [...]