气流-BigQuery作业状态检查失败。最终错误是：％s'

Question

我位于BigQuery的southamerica-east1位置，当我尝试运行气流功能GoogleCloudStorageToBigQueryOperator时，我收到错误消息：BigQuery作业状态检查失败。最终错误是：％s'

搜索主题时，我需要“强制”我要转移到BigQuery的BigQueryCursor操作表的位置。

即使使用相同的位置创建一个空表，我也无法导入Cloud Storage中的数据。

我想更详细地了解我的代码（如果可能的话，示例）需要做些什么才能成功完成我的过程。

我强调我的数据集和空表配置了相同的位置

2019-06-21

错误消息：

json_gcs_to_bq = GoogleCloudStorageToBigQueryOperator(
    task_id='gcs_to_bq',
    bucket='big-data',
    source_objects=[nm_arquivo],
    destination_project_dataset_table='teste.tab1',
    schema_object='sc_tab1.json',
    source_format='NEWLINE_DELIMITED_JSON',
    create_disposition='CREATE_IF_NEEDED',
    write_disposition='WRITE_TRUNCATE',
    bigquery_conn_id='gcp_conn',
    google_cloud_storage_conn_id='gcp_conn',
    dag=dag
)

Answer 1

我从气流库中本地插入了gcs_to_bq和bigquery_hook函数，然后我确定并强行确定了我所在区域的位置（在southamerica-east1案例中）并设法使该过程正常工作！