如何从Google Cloud Storage CSV中读取并将其加载到Google Data Store

时间:2019-12-30 15:18:41

标签: csv google-cloud-platform google-cloud-datastore google-cloud-storage gcsfuse

能否让我知道如何从Google存储(CSV)文件读取到Cloud Data Store。

我已经通过App Engine完成了Java代码,并且能够在调用时加载一行。以同样的方式,我希望获得一些示例代码,一次即可将批量文件(从CSV读取)加载到数据存储中。

1 个答案:

答案 0 :(得分:0)

  

能否让我知道如何从Google Storage(CSV)文件读取到Cloud Data Store。

您可以使用两种不同的解决方法来读取Google Cloud Storage并将其加载到Cloud Datastore项目中。

使用Apache Beam

就像在类似的post中提到的那样,您可以使用TextIO类使用Apache Beam读取CSV文件。

接下来,您将需要应用一个转换,该转换将解析CSV文件中的每一行并返回一个Entity对象。

在文章中,您将找到一个示例,该示例说明如何基于CSV文件构造Entity对象。

最后,将Entity对象写入Cloud Datastore。

使用数据流

您可以使用数据流。 Google提供了一组开源数据流模板,您可以使用它们来实现所需的功能。

就模板而言,您可以使用Cloud Storage Text to Datastore.

  

Cloud Storage Text to Datastore模板是一个批处理管道,它从Cloud Storage中存储的文本文件读取并将JSON编码的实体写入Datastore。输入文本文件中的每一行应为https://cloud.google.com/datastore/docs/reference/rest/v1/Entity中指定的JSON格式。

我强烈建议您选择第一个选项,因为它看起来不错并且已获得批准。

如果它不起作用,您始终可以尝试使用Dataflow模板从Google Cloud Storage读取到Cloud Datastore中。

希望对您有帮助。