将数据从firestore导入bigQuery

Question

我已将我的帐户升级为大火，这是先决条件之一。我试图将FAQ Link BigQuery跟踪到Firebase。仍然无法从firestore或firebase-realtimeDatabase中看到任何数据到bigQuery中。

我在bigQuery中看到了创建数据集的选项。但是在创建数据集之后，它允许我从[文件]，[云存储]，[bigQuery]，[google Drive]上传数据。但不是firestore数据库。

Plesae帮助。

Answer 1

Firestore现在允许导入/导出数据。数据将导出到Cloud Storage存储桶，然后可以从其中导入Big Query。以下是一些可能有用的链接：

• https://firebase.google.com/docs/firestore/manage-data/export-import
• https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore（Firestore使用与数据存储相同的格式进行导入/导出）

**编辑： 从Firestore导入BigQuery的文档现已提供https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore

Answer 2

有一个例子可以将数据导入bigquery

https://github.com/firebase/functions-samples/tree/master/bigquery-import

运气..

Answer 3

没有内置支持将Firebase实时数据库或Cloud Firestore中的数据导入BigQuery。

目前，如果要导入数据，则必须编写代码才能执行此操作。

Answer 4

您应该使用Firebase中内置的BigQuery导出扩展

查看详细信息：https://firebase.google.com/products/extensions/firestore-bigquery-export

现在，此扩展名将在一个集合中将新创建/更新/删除的文档导入到您的BigQuery表中，在添加新文件之前您当前的旧数据将不会放在此表中。

要导入所有先前的数据，您将需要首先安装扩展程序，因为在没有安装扩展程序的情况下进行首次导出时，所有写入操作都会丢失。

安装扩展程序后，只需使用gcloud导出所有当前数据集

https://github.com/firebase/extensions/blob/master/firestore-bigquery-export/guides/IMPORT_EXISTING_DOCUMENTS.md

Answer 5

万一有人需要它。我最终使脚本自动化，因为当前的导出数据选项仅允许流数据并保留30天。

导出数据

gcloud beta firestore export --collection-ids=users gs://mybucket/users

将备份加载到bq

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata

Answer 6

我制作了一个NPM程序包，该程序包使您可以根据Firestore数据创建具有自动生成的架构的BigQuery数据集和表，然后复制并转换所选的Firestore集合。

https://www.npmjs.com/package/firestore-to-bigquery-export

Answer 7

现在还有一个扩展https://github.com/firebase/extensions/tree/master/firestore-bigquery-export