检查bigqueryoperator的状态

时间:2019-08-28 13:50:32

标签: google-bigquery airflow

我正在airflow(google cloud composer)内部运行bigqueryoperator,该查询执行查询并将结果写入bigquery中的新表中。但是没有任何作用。我不知道怎么了。如何知道发生了什么。我被重试和修改困扰了很长时间。

代码:

mater_view_bq = BigQueryOperator( bql=sql,
                                            destination_dataset_table=  'project.temp.mater_dfunnel',
                                            task_id = 'materialize_' + vname,
                                            bigquery_conn_id = 'bigquery_default',
                                            google_cloud_storage_conn_id='google_cloud_default',
                                            use_legacy_sql = False,
                                            write_disposition = 'WRITE_TRUNCATE',
                                            create_disposition = 'CREATE_IF_NEEDED',
                                            query_params = {},
                                            allow_large_results = True,
                                            dag = dag
                                        )

0 个答案:

没有答案