我已经做了很多搜索,但是在这个社区内找不到适合我的问题的任何东西。
我有一个MongoDB集合,我想要规范化并上传到Google Big Query。不幸的是,我甚至不知道从这个项目开始。
规范化数据的最佳方法是什么?从那里,在将数据加载到BQ时,建议采用什么?
我意识到我在这里没有提供太多细节......但是任何帮助都会受到赞赏。如果我能提供任何其他信息,请告诉我。
答案 0 :(得分:0)
如果您正在使用python,那么简单的方法就是阅读收藏大块并使用pandas' to_gbq
方法。实施简单快捷。但最好能获得更多细节。
答案 1 :(得分:0)
除了SirJ提供的答案外,您还有多个选项可以将数据加载到BigQuery,包括将数据加载到Cloud Storage,本地计算机,Dataflow,如here所述。 Cloud Storage支持multiple formats中的数据,例如CSV,JSON,Avro,Parquet等。您还可以various options使用Web UI,命令行,API或使用支持C#,GO,Java,Node.JS,PHP,Python和Ruby的客户端库来加载数据。