Question

我的加载作业将“ folder \ *”加载到bigquery中，

我的呼叫者在下面，在load_job中我可以提取故障文件的任何字段吗？

load_job = client.load_table_from_uri(
    ["gs://{}/{}*".format(table["project_id"], p) for p in data["prefixes"]],
    dataset_ref.table(table_id),
    job_config=job_config,
    job_id_prefix="direct_{}_{}".format(table["schema"], 
table["table"]),
)  # API request

Answer 1

BigQuery在加载数据时支持“全有或全无”方法，即它将加载输入文件中存在的所有数据，或者在发生错误时将不加载任何内容。由于使用通配符来加载多个文件，即使遇到特定文件的加载错误，因此不会加载任何数据。

您可能想为不同的多个文件配置不同的加载作业，以实现您的目标

更多参考

Load Job quotas

加载通配符路径时获取失败文件的名称

1 个答案: