如何将json数据导入谷歌云数据存储区。如何从代码中从数据存储区将数据导入BigQuery

Question

我想实现一个管道，我将数据存储在Cloud Datastore中，然后在BigQuery中逐步读取它，将Bigquery数据转换为Tf记录，然后运行ML Tf算法。我没有一个干净的方法将json文件导入数据存储区并从Python代码再次将数据导出到Bigquery。

Answer 1

我可以逐步找到将JSON文件加载到DataStore的答案。

如何将JSON数据导入数据存储区的答案是： https://cloud.google.com/datastore/docs/reference/data/rest/v1/Entity

Google Datastore支持的各种类型可在此处找到：

https://cloud.google.com/appengine/docs/standard/python/datastore/entities#Python_Properties_and_value_types

Cloud Datastore现在具有导入和导出功能，您可以使用该功能将Cloud Datastore实体加载到BigQuery中：

• Export entities
• Load exported entities into BigQuery

Answer 2

对于搜索此内容的任何人，在 DataStore 文档迷宫的深处，您可以找到如何将本地数据文件类型（如 JSON、CSV 和其他类型）加载到 DataStore 数据库中，此处其他答案提供的链接已失效，所以您在这里去：

• https://cloud.google.com/bigquery/docs/batch-loading-data#loading_data_from_local_files