MongoDB + Google Big Query - 规范化数据并导入BQ

时间:2018-06-12 17:24:22

标签: mongodb google-bigquery

我已经做了很多搜索,但是在这个社区内找不到适合我的问题的任何东西。

我有一个MongoDB集合,我想要规范化并上传到Google Big Query。不幸的是,我甚至不知道从这个项目开始。

规范化数据的最佳方法是什么?从那里,在将数据加载到BQ时,建议采用什么?

我意识到我在这里没有提供太多细节......但是任何帮助都会受到赞赏。如果我能提供任何其他信息,请告诉我。

2 个答案:

答案 0 :(得分:0)

如果您正在使用python,那么简单的方法就是阅读收藏大块并使用pandas' to_gbq方法。实施简单快捷。但最好能获得更多细节。

答案 1 :(得分:0)

除了SirJ提供的答案外,您还有多个选项可以将数据加载到BigQuery,包括将数据加载到Cloud Storage,本地计算机,Dataflow,如here所述。 Cloud Storage支持multiple formats中的数据,例如CSV,JSON,Avro,Parquet等。您还可以various options使用Web UI,命令行,API或使用支持C#,GO,Java,Node.JS,PHP,Python和Ruby的客户端库来加载数据。