将Google Firebase导出到Bigquery

时间:2017-06-21 06:40:09

标签: firebase firebase-realtime-database google-bigquery

我正在尝试将Google Firebase数据库导出到Google Bigquery,但除了手动导出所有内容外,还没有找到解决方案。我找到了多种导出firebase分析的方法,但这不是我想要的。任何帮助或任何能指向正确方向的东西都将不胜感激。谢谢大家!

  • 韦斯

2 个答案:

答案 0 :(得分:1)

我认为这只能以自动化方式支持Google Analytics。

您可以编写一个脚本来从备份加载[1],但是您需要一些中间处理才能将它们转换为BigQuery所需的换行符分隔的JSON格式。您还想决定如何将树结构拆分为多个表。

可能值得向其公共问题跟踪器添加功能请求(如果Firebase团队有一个)。

[1] https://firebase.google.com/docs/database/ios/backups

答案 1 :(得分:0)

手动导出/导入

如果您希望进行一次性导出/导入,可以手动执行此操作。查看Firebase数据库控制台时,单击三点图标以获取更多选项。其中一个选项是"导出JSON",它会将文件下载到您的计算机。如果您希望将文件下载到服务器,也可以使用REST API执行相同的操作。

下载数据库导出后,您可以尝试遵循loading data into BigQuery from a file的文档。根据您的数据库结构,您可能需要重新格式化/重新构建数据以与BigQuery期望的内容兼容。

流式导出/导入

如果需要将数据库中的数据流式传输到BigQuery,可以使用Firebase Cloud Functions。例如,您可以编写一个函数triggered by a Database-event,它使用BigQuery NodeJS client将该数据传输到您的BigQuery表。

务必熟悉相关的costs& quotas,以及有关streaming data into BigQuery的文档。