我正在尝试将json.gz(大小为744 MB,解压缩后为5 GB)中的Firebase Realtime DB备份从云存储加载到bigquery中。 我已经尝试通过bigquery UI和python客户端,但是我遇到了以下提到的错误:
读取数据时出错,错误消息:无法解析JSON:字符串中应包含引号;无法解析值;无法解析值;无法解析值
由于这是Firebase的每日备份,所以我不确定数据有何不正确之处?
这是用于加载数据的Python(2.7.15)代码:
import os
from google.cloud import bigquery
credential_path = "path to credentials .json file"
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credential_path
client = bigquery.Client()
dataset_id = 'my_new_dataset'
dataset_ref = client.dataset(dataset_id)
job_config = bigquery.LoadJobConfig()
job_config.autodetect = True
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = 'gs://URI-PATH'
load_job = client.load_table_from_uri(
uri,
dataset_ref.table('hit_snapshot_table'),
job_config=job_config) # API request
assert load_job.job_type == 'load'
load_job.result()
非常感谢您的帮助/建议。