我试图将本地jsonlines
文件jl
附加到表t2
中。但是,bigquery将jl
的行数恰好附加到t2
的一半。我的意思是jl
处有935.094行,但只传输了467.547行。我想知道在将本地文件追加到表时是否存在此类限制。
这是我的代码段:
def append_local_file_to_table(self,file_path,dataset_id,existing_table):
table_ref=self.client.dataset(dataset_id).table(existing_table)
load_job_config=bigquery.LoadJobConfig()
load_job_config.write_disposition=bigquery.WriteDisposition.WRITE_APPEND
load_job_config.source_format=bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
with open(file_path,'rb') as jl:
load_job=self.client.load_table_from_file(jl,table_ref,job_config=load_job_config)
load_job.result()