如何从GAE数据存储区导出BLOB类型字段？

Question

所以我想从GAE数据存储区导出一些数据，这就是我尝试的方法：

1. 创建我要导出的Cloud Datastore的{​​{1}}备份。
2. 在Google BigQuery中加载备份
3. 从Google BigQuery导出

一切正常但有一个问题，Google BigQuery加载程序在从kind备份加载数据时会忽略Blob类型字段。（https://cloud.google.com/bigquery/loading-data-cloud-datastore）

如何实现导出所有类型的字段（包括Blob类型字段）？

Answer 1

根据documentation，blob无法存储在BigQuery中，因为它不是主要目的，即大数据分析。 BigQuery仅接受指定的here标准SQL数据类型。无论如何，根据您的用例以及这些blob包含的内容，您可能有一些选择。

由于数据存储区的最大行大小为1MB，BigQuery为100MB，因此您可以在传输Blob之前对其进行转换。另一方面，您可以使用其他服务（例如Google Cloud Storage）在其中存储blob，然后在Datastore数据库中输入对Cloud Storage中该文件的引用。

我已经在公共问题跟踪器中为此创建了feature request，因此您可以在此跟踪其进展。但是，此实现没有ETA。