Bigquery会将表格的恰好一半附加到另一个

时间:2019-07-11 11:17:11

标签: google-bigquery

我试图将本地jsonlines文件jl附加到表t2中。但是,bigquery将jl的行数恰好附加到t2的一半。我的意思是jl处有935.094行,但只传输了467.547行。我想知道在将本地文件追加到表时是否存在此类限制。

这是我的代码段:

def append_local_file_to_table(self,file_path,dataset_id,existing_table):
    table_ref=self.client.dataset(dataset_id).table(existing_table)

    load_job_config=bigquery.LoadJobConfig()
    load_job_config.write_disposition=bigquery.WriteDisposition.WRITE_APPEND
    load_job_config.source_format=bigquery.SourceFormat.NEWLINE_DELIMITED_JSON

    with open(file_path,'rb') as jl:
        load_job=self.client.load_table_from_file(jl,table_ref,job_config=load_job_config)
    load_job.result()

0 个答案:

没有答案