在Airflow Web UI中,您可以从DAG中单击任务实例,然后查看“任务实例详细信息”。在该页面上,我可以看到“任务属性”部分,其中包括bql和其他有用的信息。我正在尝试找出一种自动方式来提取此类信息。
我发现,尽管我可以使用Airflow REST API来获得上述信息,但是我必须传递特定的DAG ID和REST API能够工作的任务ID,而且我必须从某个地方(例如,气流元数据数据库)查询以获取DAG ID和任务ID的列表。我以某种方式觉得同时使用元数据数据库和REST API既麻烦又难看。是否应该有一种更聪明的方法来提取所有BigQueryOperator的任务属性?
我以前的假设是:我们可以从其Web UI中看到的所有内容都存储在db或文件中。因此,我也希望在db中看到BigQueryOperator的任务属性。但是它不在元数据数据库中。
我的问题是: 1)BigQueryOperator的任务属性存储在哪里? 2)有什么更聪明的方法可以获取Airflow项目下所有活动DAG中所有BigQueryOperator任务的任务属性?