从Firestore导入大查询

Question

我正在考虑使用BigQuery作为解决方案，但我不确定它在导入方面的功能（找不到文档）。

我当前正在使用Firestore，并且正在执行每日备份。我想将这些备份导入到BigQuery中。这似乎得到了很好的支持。

我的问题是每次导入是否都将获取完整的数据集（实质上是复制当天未更改的任何内容），或者我可以将其配置为仅导入更新的字段吗？我是否必须编写完整的ETL才能完成此任务，或者已经支持它了？

谢谢。

Answer 1

BigQuery中的每个导入都将带有all fields by default。您不能将其配置为仅导入更新的字段。但是，您可以使用CLI or API来加载特定字段，方法是在CLI中使用--projection_fields flag或在API中设置projectionFields property。请注意，此功能在BigQuery网络用户界面中不可用。

还要注意，您的表中不会有重复的数据，因为您可以创建新表来存储数据，也可以在将Cloud Firestore导出加载到BigQuery中时覆盖现有表。无法根据当前limitations将Cloud Firestore导出数据添加到现有表中。

从Cloud Firestore和BigQuery文档看，目前似乎没有ETL工具可以满足您的需求。我在Google Issue Tracker上提出了一个BigQuery feature request。请在票证上添加以下信息，以便可以通知正确的团队：

• 这如何影响您的公司和日常工作？

Answer 2

Firestore现在有一个扩展到BigQuery。 https://firebase.google.com/products/extensions/firestore-bigquery-export