Apache Airflow - BigQueryOperator：如何动态设置destination_dataset_table分区

Question

我需要一个BigQueryOperator任务，如下所示：我需要将查询结果保存到分区表中。但是，"month_start"需要从实际DAG execution_date派生。我找不到任何关于如何在我的DAG定义脚本中读取execution_date的文档或示例（在Python中）。期待在这里提供一些帮助。

FYR：我使用的是Airflow 1.8.2

 t1_invalid_geohash_by_traffic =  BigQueryOperator(
                                        task_id='invalid_geohash_by_traffic',
                                        bql='SQL/dangerous-area/InvalidGeohashByTraffic.sql',
                                        params = params,
                                        destination_dataset_table=
                                        'mydataset.mytable${}'.format(month_start),                                      write_disposition='WRITE_TRUNCATE',
                                        bigquery_conn_id=CONNECTION_ID,
                                        use_legacy_sql=False
                                    )

Answer 1

我想我找到了答案。刚刚进入这个博客：https://cloud.google.com/blog/big-data/2017/07/how-to-aggregate-data-for-bigquery-using-apache-airflow