Question

我目前正在将Airflow与BigQuery运算符配合使用，以触发各种SQL脚本。将SQL直接写在Airflow DAG文件中时，这可以很好地工作。例如：

bigquery_transform = BigQueryOperator(
        task_id='bq-transform',
        bql='SELECT * FROM `example.table`',
        destination_dataset_table='example.destination'
    )

但是，我想将SQL存储在保存到存储桶中的单独文件中。例如：

bql='gs://example_bucket/sample_script.sql'

调用此外部文件时，出现“找不到模板”错误。

我已经看到一些示例将SQL文件加载到Airflow DAG文件夹中，但是，我真的很想访问保存在单独存储桶中的文件。这可能吗？

Answer 1

您可以在Google Cloud Storage Bucket中引用任何SQL文件。这是一个以下示例，其中我在气流dag存储桶的sql目录中调用文件Query_File.sql。

CONNECTION_ID = 'project_name'

with DAG('dag', schedule_interval='0 9 * * *', template_searchpath=['/home/airflow/gcs/dags/'], max_active_runs=15, catchup=True, default_args=default_args) as dag:

battery_data_quality = BigQueryOperator(
  task_id='battery_data_quality',
  sql='/SQL/Query_File.sql',
  destination_dataset_table='project-name.DataSetName.TableName${{ds_nodash}}',
  write_disposition='WRITE_TRUNCATE',
  bigquery_conn_id=CONNECTION_ID,
  use_legacy_sql=False,
  dag=dag
)

Answer 2

您还可以考虑使用gcs_to_gcs operator将东西从所需的存储桶复制到作曲家可以访问的存储桶中。

Answer 3

在 GoogleCloudStorageDownloadOperator 中，Airflow 版本 1.10.3 和 1.10.15 的下载方式有所不同。

 def execute(self, context):

        self.object = context['dag_run'].conf['job_name'] + '.sql'
        logging.info('filemname in GoogleCloudStorageDownloadOperator: %s', self.object)
        self.filename = context['dag_run'].conf['job_name'] + '.sql'

        self.log.info('Executing download: %s, %s, %s', self.bucket,
                      self.object, self.filename)
        hook = GoogleCloudStorageHook(
            google_cloud_storage_conn_id=self.google_cloud_storage_conn_id,
            delegate_to=self.delegate_to
        )
        file_bytes = hook.download(bucket=self.bucket,
                                   object=self.object)
        if self.store_to_xcom_key:
            if sys.getsizeof(file_bytes) < 49344:
                context['ti'].xcom_push(key=self.store_to_xcom_key, value=file_bytes.decode('utf-8'))
            else:
                raise RuntimeError(
                    'The size of the downloaded file is too large to push to XCom!'

                )

如何使用Airflow的BigQuery运算符引用外部SQL文件？

3 个答案: