Google云存储API - 将数据合并到现有数据库

Question

我在Google云存储中有一些数据集。我可以找到如何将更多数据附加到此数据集。但是，如果我想合并数据集（插入其他更新），我该怎么做？

我有一个使用Hive的选项 - 插入覆盖。还有其他更好的选择吗？

Google云存储API本身有什么选择吗？

Answer 1

也许这可能会有所帮助：https://cloud.google.com/storage/docs/json_api/v1/objects/compose

Objects: compose

Concatenates a list of existing objects into a new object in the same bucket.

Answer 2

GCS将您的对象（文件）视为blob，对象中的文本没有内置的GCS操作。尽管如此，有一种更简单的方法可以做同样的事情。

App-engine hosted MapReduce提供内置适配器以与GCS配合使用。您可以在this repo中找到示例代码。