将Firebase备份加载到bigquery中时出现“无法解析JSON:关闭字符串中的引号”错误

时间:2018-08-29 03:45:14

标签: json firebase firebase-authentication google-bigquery

我正在尝试将json.gz(大小为744 MB,解压缩后为5 GB)中的Firebase Realtime DB备份从云存储加载到bigquery中。 我已经尝试通过bigquery UI和python客户端,但是我遇到了以下提到的错误:

读取数据时出错,错误消息:无法解析JSON:字符串中应包含引号;无法解析值;无法解析值;无法解析值

由于这是Firebase的每日备份,所以我不确定数据有何不正确之处?

这是用于加载数据的Python(2.7.15)代码:

import os
from google.cloud import bigquery
credential_path = "path to credentials .json file"
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credential_path
client = bigquery.Client()
dataset_id = 'my_new_dataset'

dataset_ref = client.dataset(dataset_id)
job_config = bigquery.LoadJobConfig()
job_config.autodetect = True
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = 'gs://URI-PATH'
load_job = client.load_table_from_uri(
    uri,
    dataset_ref.table('hit_snapshot_table'),
    job_config=job_config)  # API request

assert load_job.job_type == 'load'

load_job.result()

非常感谢您的帮助/建议。

0 个答案:

没有答案