使用Google Cloud Function将json文件加载到Bigquery表中,BQ作业成功,但BQ表中缺少一些文件

时间:2019-11-19 02:01:48

标签: google-bigquery

就像我在标题中提到的那样,我创建了一个google cloud函数,当将json文件上传到google cloud storage时,该函数被触发并创建了一个加载作业,以将json文件加载为BigQuery中的表,如下所示:一排。日志中没有错误,但是我发现无法在表中添加一些文件:我上传了10个json文件,表中只有6行。如果首先将1.json添加到表中,则无法添加2.json,反之亦然,并且它们在BQ表中具有相同的列。 这是google cloud功能中的作业配置:

uri = 'gs://%s/%s' % (bucketname, filename)
client = bigquery.Client()
job_config = bigquery.LoadJobConfig()
job_config.autodetect = True
job_config.create_disposition = 'CREATE_IF_NEEDED',
job_config.source_format = 'NEWLINE_DELIMITED_JSON',
job_config.write_disposition = 'WRITE_APPEND',
load_job = client.load_table_from_uri(
        uri,
        table_id,
        job_config=job_config,
    )

有什么想法吗?谢谢

1 个答案:

答案 0 :(得分:0)

结果是某些列类型不相同。新秀错误。