我在GCS中有一个Firestore备份文件,名称为:all_namespaces_kind_Rates.export_metadata。我设置了一个cron作业,每24小时更新一次该文件。现在,我需要找到一种方法,以编程方式将此export_metadata文件发送到BigQuery。 BigQuery可以安排从GCS进行数据传输的功能,但仅适用于以下格式的文件:CSV,JSON,AVRO,PARQUET和ORC。如何将我的Firestore备份文件以编程方式传输到BigQuery中?
答案 0 :(得分:1)
如果您的cron作业可以访问bq命令行工具,您是否尝试过:
bq load --source_format=DATASTORE_BACKUP [DATASET].[TABLE] [PATH_TO_SOURCE]
查看有关命令的更多信息: https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore#loading_cloud_firestore_export_service_data