就像我在标题中提到的那样,我创建了一个google cloud函数,当将json文件上传到google cloud storage时,该函数被触发并创建了一个加载作业,以将json文件加载为BigQuery中的表,如下所示:一排。日志中没有错误,但是我发现无法在表中添加一些文件:我上传了10个json文件,表中只有6行。如果首先将1.json添加到表中,则无法添加2.json,反之亦然,并且它们在BQ表中具有相同的列。 这是google cloud功能中的作业配置:
uri = 'gs://%s/%s' % (bucketname, filename)
client = bigquery.Client()
job_config = bigquery.LoadJobConfig()
job_config.autodetect = True
job_config.create_disposition = 'CREATE_IF_NEEDED',
job_config.source_format = 'NEWLINE_DELIMITED_JSON',
job_config.write_disposition = 'WRITE_APPEND',
load_job = client.load_table_from_uri(
uri,
table_id,
job_config=job_config,
)
有什么想法吗?谢谢
答案 0 :(得分:0)
结果是某些列类型不相同。新秀错误。